他召集裴寂等部下将官一起商量要不要回兵救晋阳。
裴寂看了一眼衣服被雨水淋湿，鞋上沾满泥巴的前来参加会议将官们，也觉得霍邑隋兵实力还很强，急切之间没那么容易攻下来。
裴寂说：
“李密这个人狡猾多谋，也有可能趁虚抢占晋阳。
他写信表示友好可能只是个障眼法用来麻痹我们。
刘武周有奶便是娘，眼红晋阳存有大量金银军粮。
我们不如返回晋阳守护住大本营，进军关中的事以后再说。”
参加开会将领七嘴八舌地说，主张回兵晋阳占了多数。
有的说：“如果宋老生占据的霍邑攻不下来，我们大本营晋阳又丢了，咱们救国起义军就处境危险了。”
有的说：“刘武周和突厥联手攻打晋阳，要瓜分抢到的粮食财产。留守的李元吉兵力不足根本抵挡不住。”
有的将领说：“李密的瓦岗军有乘虚抢占晋阳的可能，洛阳的隋军也有可能袭占晋阳。
一旦大本营没了，全军上下都会人心惶惶。”
有的说：“若是刘武周攻下晋阳，再把我军军人家属甚至李大将军亲属扣为人质，就是一场难以解救的大灾难。”
李渊听着众议，当即决定第二天撤军回救晋阳。
这时李世民正率领兵士随从外出巡逻,忽然得报全军回撤晋阳的消息。
李世民忙回到军营查问情况。他赶到李渊军帐着急地问：
“父亲大人为什么撤兵？”
李渊大略说了撤兵原因，又说：
“军队要断粮断炊了，情况不允许我们继续停留在这里。”
李世民劝阻说：
“如今秋天到了。田野里都是谷子大豆、黍子高粱，怎么担心军队无粮？
隋将宋老生，性格急切浮躁，一战就可抓住他。
李密贪恋洛河一带是富庶大粮仓，没有心思抢占别的地方。
刘武周依附突厥,实际上相互猜忌,谁也不相信谁，很难有一致行动。
突厥最近才同我们订立了友好盟约，不一定会马上就翻脸。
刘武周和突厥要联手攻占晋阳的传闻未必是真。
父亲大人为天下大义兴兵，有志向救天下百姓，理当先进入咸阳关中，以此号令天下。
今天遇到了小的困难，就想着撤兵回进阳，恐怕因为共同志向集结起来的众兵众将，一天之间人心涣散。
一旦人心散了，图谋大事就彻底失败了。”
李渊摇摇头说：“如果晋阳丢失，我们不就是无家可归了？我已决心回兵晋阳！”
于是下令催促下属继续打点行装。
李世民出了帅帐遇见了李建成，打算要求他一起去劝阻父亲。
李建成说：
“我的想法是不赞同现在撤兵，但咱们父亲已经有了撤兵的想法，看来没法阻拦了。”
李世民见李建成语气支吾含糊，料定他没有决心劝谏，马上又转向商议裴寂等人。
裴寂等人都坚持说，在此等待攻打霍邑，不如撤兵回晋阳。
李世民气恼万分。晚饭时间到了，仆从端来了饭，喊：“大都督吃晚饭了。”
李世民挥手示意撤去晚饭，他说：“我吃不下，拿下去你们吃了吧。”
他在书屋内来回踱步，打算再次去进向李渊进谏。
他大步流星走入后营，却被李渊的近身卫兵拦住，卫兵说：
“李大将军已经睡下了。”
李世民气恨已极，突然蹲在地上放声大哭。
李渊刚要入睡，听到外面李世民哭声不绝，他起身告诉侍卫说：
“你让李都督进来吧。”
李世民进了屋，李渊问：
“你为什么大哭不止？”
李世民一边哭一边说：“军队是为正义行动，只能前进，不能后退。前进则生，后退则亡。军队要灭亡了我怎能不哭？”
李渊问：“为什么说退就是死？”李世民说：
“父亲大人您想想，军队进攻全靠一股势不可挡的锐气，一且退兵，前进的锐气就没了。
因为我们一直保持前进的态势，整个关中闻讯已经震动，关中隋兵得知义军将至而闻风丧胆。
我们一退兵，敌人欢欣鼓舞，普大喜奔。
退兵途中，刘武周在我们返回晋阳的退路上截杀我们。宋老生、居突通利用我们无心恋战的军队情绪，在后面追杀我们。
那样我军精气神顷刻土崩瓦解。军心涣散怎么和敌人对阵？岂不是投降的投降，逃散的逃散，全军覆灭吗？
你们被一个晋阳老窝被端可怕假消息蒙住了心智，都不去理性判断消息真假了。
父亲你仔细想想，如果真是晋阳被围困攻打，我弟弟再笨也会马上想到立即派强兵猛将突出重围，把晋阳危急的消息快马传递给我们吧？
为什么至今丝毫没有我弟李元吉送出的求援消息？
如果刘武周和突厥联手攻城，我弟率领的守城将士已全军覆没，求救消息也没能送出，我们回救是不是已经晚了？
那时敌人已经占据晋阳城池，居险而守，以逸待劳剿灭我们，我们是不是回去了也是凶多吉少？
如果晋阳已失，我军没了后路，我军唯一的求生希望是不是向关中猛打猛冲，占领关中，创立新天地？
儿愿立军令状，天晴发兵霍邑，若不能斩杀宋老生，儿愿以死谢罪！”
李渊听了他的话，猛然醒悟过来。他说：“左军已经出发。怎么办？”
李世民说：“估计还没走远，我去把他们追回来！”
李渊笑着说：“这次成败由你决定，你快去追回他们吧。”
李世民高兴地跑出李渊睡房，叫上李建成一起，共同带领一队快马兵士，连夜追赶上左军，召唤左军原路返回贾胡堡。
过了两天，沈叔安的运粮草车马队伍满载粮草到了贾胡堡。同时带来了晋阳安然无恙的准确消息。
粮食来了，后方安然无恙。李渊大喜，全军欢悦。
还有一件事，让李渊喜不自胜：
这时老天也开始作美，渐渐雾散云消，猛然一片明亮耀眼的阳光慷慨地持久地照射在大地上。
兵士们在久违的阳光下奔跑欢呼：
“噢！赤乌千祥！”
“噢！赤乌无恙！”
赤乌是隋朝时人们对太阳的称呼。
粮来天晴，后方安好，李渊因此心花怒放。李渊当下让传令兵传令：
“全体将士，晒铠甲、晒衣服、晒被褥、修复箭弓，磨亮兵器，准备开战！”