岳飞在下方一听，果然如此，虽然他也知道此时杜充早已下定决心要退往建康，但还是想再试上一试，看能不能有所改变，于是进言道：“中原之地尺寸不可弃，况社稷、宗庙在京师，陵寝在河南，尤非他地可比。留守以重兵硕望，且不守此，他人奈何？今留守一举足，此地皆非我有矣。他日欲复取之，非捐数十万众不可得也。留守盍图之？”诸将皆如此意。

杜充见众人苦劝，心中恼火，便沉声说道：“京师之重，犹过于君王乎？国若无主，社稷宗庙何存？尔等一味要守京师，又置圣上于何处？我意已决，不必多言。”说罢吩咐各处，尽起留守司大军，即日赶赴建康行在。

下得堂来，岳飞与陈淬等将沉默不语，相对苦笑。陈淬边走边说道：“宗帅方去不足一年，长江之北已经尽属金人，若论祸国，杜充可为首也！”

岳飞叹口气道：“便是恩师不去，看如今朝廷态势，只怕也不肯让其北伐，最多也只守住京师之地罢了。杜充其人，你我知之，若是不依其行事，只怕另生祸端。还是早做准备，等到得建康后再做计较。”陈淬点头。

数日之后，杜充将留守司人马准备停当，便率大军浩浩荡荡开赴建康。杜充离开后，朝廷命蔡州知州程昌?为留守判官，此时原留守判官宗颖因与杜充不睦，早已辞官归乡。

当程昌?来到京城时，汴京自四门外皆阖，人以为病，程昌?便想改杜充当日之旧制。杜充用律极严，城中有游手杂食，于市中窜窃者，虽犯一钱亦死，程昌?便想将这个限额宽为一千。但可惜的是副留守刘仲荀皆不听。

这刘仲荀也是贪生怕死之人，杜充逃离汴京后不足两月，他便以金兵逼近京师，粮储告急为由，率余兵步杜充后尘，逃往建康府。京城百姓见其离去，便疑朝廷欲舍东京，于是拖家携口约数万人一道随其南逃。朝廷无奈，只得命京畿转动副使上官悟为东京留守，最终东京被伪齐所破，上官悟以身殉国，此乃后话不提。

当岳飞跟随大军离开汴京之时，回望古朴的城墙，想到自己在此处经历的种种，心中感慨万千，经此一别，不知何时才能回到此地，又不知何时才能完成自己尽收失地的宏愿。此时岳飞心中五味杂陈，慢慢吟出一首词来：

“塞马南来，五陵草树无颜色。云气黯，鼓鼙声震，天穿地裂。百二河山俱失险，将军束手无筹策。渐烟尘、飞度九重城，蒙金阙。

长戈袅，飞鸟绝。原厌肉，川流血。叹人生此际，动成长别。回首玉津春色早，雕栏犹挂当时月，更西来、流水绕城根，空呜咽。”