项王闻知彭城危在旦夕，便命令部下诸将率兵继续攻击齐军，自己则亲自率三万精兵回师南下。楚军从曲阜（今山东曲阜市）出发，经胡陵向南进发。此时，汉王已攻入彭城，正在城中“日置酒高会”。项王便从彭城西面的萧发起攻击，于清晨向东进击，攻至彭城城下。中午，项羽大破汉军。汉军全线溃败，相继被挤入谷水、泗水之中，汉军被杀死者多达十余万人。汉军在溃退时都是向南逃走，楚军追击至灵璧（今安徽淮北市西南）的睢水之上。汉军退却，被楚军挤逼，伤亡惨重，又有十多万汉军被挤入睢水中，睢水因此而阻塞。

楚军将汉王重重包围，汉王已无法冲出重围。这时，西北方突然刮起狂风，飞沙走石，天昏地暗，迎面向楚军扑来，楚军顿时大乱，包围圈也随之溃散。汉王趁着狂风所赐给他的一线生机，带领十余名骑兵逃脱。汉王想路过沛县，带领家眷向西逃走，而楚军这时也派人到沛县捕拿汉王家眷。汉王家眷已经逃走，未能与汉王相见。

在逃亡途中，汉王遇见了女儿（后来封为鲁元公主）和儿子（后来立为孝惠帝），便同车载行。楚骑兵从后面追赶汉王不舍，汉王急于逃脱，便把女儿和儿子推下车去，以便减轻车的载重而加速前行，但同行的滕公夏侯婴却下车把两个孩子抱到车上。汉王多次把儿子、女儿推下车去，滕公便多次下车收载，并向汉王说道：“情况虽然紧急，但马又不可跑得再快些，为什么把孩子抛弃不管？”就这样，汉王一行最终逃脱了楚军的追击。

汉王派人寻找父亲和妻子吕雉，但没有找到。当时，审食其护送汉王的父亲和妻子抄小路逃走，反而遇到了楚军，成了楚军的俘虏。事情上报项王，项王便把他们安置在军营中，留作人质。

汉王的六十万大军在项王的三万精兵面前一触即溃，溃不成军，死伤三十余万人，余者也都四面逃散。诸侯联军在兵力上以二十比一的优势惨遭失败，其原因是六十万大军是临时拼凑的，而项王三万精兵却是跟随他作战多年，训练有素，战斗力极强。楚军统帅项羽又勇猛无比，独具超人的军事天才和胆略。如此的统帅率领着如此的精兵，与汉王统帅的诸侯联军交战，岂止是一以当十。再说，汉王与诸侯攻入彭城后，整日饮酒盛会，没有料到楚军会如此迅速地从天而降。汉军既无防备，又缺乏统一的指挥，怎能不惨败于楚军的猛攻之下。

回顾汉王东征的旗开得胜，那是在没有同项王所统帅的楚军交战的情况下取得的，因而这种旗开得胜不能说是对楚军作战的真正胜利。而汉军在彭城的失败，却是名副其实的惨败，军队损失殆尽，汉王本人只带着十余名骑兵逃脱危险。汉军彭城惨败的事实表明，在楚汉战争的初始阶段，从军事实力上看，楚军占有明显的优势；对于汉王来说，确实是处于敌强我弱的阶段。