诸臣并没有等到答案，因为曹操随后就驾崩了。寝殿之内传来哀嚎痛哭之声，魏军披麻戴孝，因为物资供应不上，没有足够的白缟，所以仅仅是人人头系白条。夏侯惇率领曹彰设在许都北部营垒内的两万魏军返回荥阳，护送着曹操的棺木开始向东转移。而张郃也率领八万魏军紧随其后向青州方向前进。

汉军的斥候侦骑立刻就发现了魏军的动向，迅速向吕布和张辽禀报了军情。张辽按照吕布的诏令对汜水与荥阳留守的三万魏军发动全面总攻。吕布留下八千人驻守许都，带着另外三万多兵马尾随张郃的八万主力进行追击。

汜水关前，巨大的石块被五六百具配重式投石机狂轰。仅仅一个时辰，城墙就被轰塌了长长的一段。汉军如同潮水一般掩杀过去。饥饿而又士气低落的魏军在破城后几乎不堪一击，汉军还没冲至。摄于汉军的气势，就已开始四处溃散，被追杀而至的汉军骑兵斩杀无算。

击破汜水关后，张辽只留下两万兵士和攻城器械围攻荥阳，其余主力随同他继续沿着黄河向东追赶魏军。同时他派出斥候与河对岸的汉军取得联系，要他们继续用虎贲铁骑粉碎魏军渡河的企图。不久张辽就追上了吕布的本部。

不到十万人的魏军护送着曹操的棺木，在汉军的围追堵截中狼奔猪突，向东一路奔逃。越跑人越少，速度越来越慢。吕布集结起本部的所有骑兵，包括五个虎贲骑兵旅以及三千普通郡县兵骑兵对魏军展开迂回截击，几次这样的突击斩杀，就录得魏军三万余首级。在追击的路上，沿途还属于魏军名义控制的郡县无不望风而降，甚至相距遥远的郡县令守派出使者前来归附。

待魏军奔至菏泽时，只剩下五万不到的饥疲之兵。张郃与夏侯惇商量了下，由张郃负责警戒追兵，夏侯惇到前方的县城去借粮。就在此时，后方又传来了如同雷奔般的马蹄之声，张郃知道汉军铁骑又杀过来了。紧接着南方和北方也传来了同样的万马奔腾之声。淮水李肃部的一万多汉军铁骑与河北的两万虎贲铁骑也同时杀到了。

张郃，夏侯惇看着三面而至的数万汉军铁骑，脸都灰了，他们知道今天这仅存的五万魏军主力是不可能逃脱生天了。张郃一脸悲壮的对着夏侯惇说：“兄弟，你带着主公的棺木向东去吧，这里就交给我了。”

夏侯惇沉默片刻，抱拳对张郃说：“兄弟保重，我们来世再见。”说罢，领着百余亲骑，将曹操的尸体从棺木中取出用布包好放置自己马后，策马向东奔去。

张郃刚刚将约五万的魏军摆好阵形。三面的数万汉军铁骑就已经杀到。这五万魏军兵卒大多已是惊弓之鸟，面对势若奔雷的汉军铁骑，哪有迎敌接战的胆气。在张郃的高压下，勉强组织起阵形，在汉军铁骑逼近之后，再也不管将校们如何吆喝，许多人掉头就跑。张郃亲指挥的督战队砍下多颗人头也无济于事，溃逃的人越来越多，很快就演变成了全面溃败。最后只剩下张郃与一些对曹魏忠心耿耿的将校以及他们的亲兵抵挡汉军。

这些人在数万铁骑面前无异与螳臂当车，很快就被汉军的钢铁洪流碾压的粉碎。张郃也身中数箭落马，肚皮被铁蹄踩踏的肚破肠流而亡。

自此一役，曹魏已经丧失了全部主力兵团。仅有少数残部盘踞在青州，冀州西北一带，分由曹植，曹丕统治。