而到了商、虢二州境内，这种情形更为明显，自商、虢至伊阳六七百里，山岩重叠，林木蔽密，本就偏僻萧条，而屡经战乱，更是让这种情形雪上加霜。

这般艰难处境，岳家军的后勤队伍便很难跟上大部队的行军步伐，自鄂州到商、虢二州，路途漫长，且山区之中行进困难，使得粮草难以及时供应。虽然岳飞一路杀获甚众，就粮于各处城池，但所获粮草既要供应大军日常所需，又因岳飞不忍各处百姓忍饥挨饿，于是还要分粮赈济，这使得粮草供应入不敷出。

面对如此情形，岳飞也是巧妇难为无米之炊，无奈之下，只得下令撤军返回鄂州。而听闻岳家军要南撤，所复州县百姓无不纷纷痛哭，他们知道，一旦岳家军离开，这些收复的州县很快又会落到伪齐手中，到时悲惨的生活还将继续。于是便有百姓跪求岳飞，望大军护百姓一道南归。

岳飞望着这些形容枯瘦的百姓，心中不忍，于是命大军挤出一万石粮食交付饥民，而后护着愿意南归的百姓一路南下。到得襄阳府后，岳飞将这些百姓安顿在襄阳到鄂州境内，并且拨牛借种，招募来归百姓恢复耕种，这才将这些人安排妥当。

至此，大宋的第二次北伐就这样虎头蛇尾地结束了，虽然未能如岳飞所想那般，渡河北上，在伪齐与金国之间扎下根基，但也并非一无所获。

虽然岳家军占领的州县在大军南撤之后，多又被伪齐所得，但商、虢二州一些要地仍被岳家军牢牢掌握在手中，并未易手。并且邵隆在赴商州就任知州后，披荆棘，立官府，招徕离散，各得其心，逐渐将商州的生机再度焕发起来，也为之后北伐大事占据了一块极为重要的桥头堡。

岳飞复返鄂州后，由于安志杰的随行调养，并未发生像史书中所记载的那般眼疾重新发作，以至于卧床不起的情况，这令岳飞十分欣喜，于是便静下心来经营自己的大本营，进一步扩展岳家军实力。

但这种安宁的日子并未有多久，伪齐再度来攻。