大事已定，又因金人两至都城，高宗皇帝只怕金人又来，汴京不可守，于是不想回返汴京，下手诏曰：“京师未可往，当巡幸东南。”

李纲听闻高宗皇帝要去东南避敌，便极力劝阻道：“臣尝言车驾巡幸之所，关中为上，襄阳次之，江宁为下。陛下纵未能行上策，犹当且适襄、邓，示不忘故都，以系天下之心。不然，中原非复我有，车驾还阙无期，天下之势遂倾不复振矣。自古中兴之主，起于西北，则足以据中原而有东南，起于东南，则不能以复中原而有西北。盖天下精兵健马皆在西北，一旦委中原而弃之，岂惟金人将乘间以扰内地；盗贼亦将蜂起为乱，跨州连邑，陛下虽欲还阙，不可得矣，况欲治兵胜敌以归二圣哉?夫南阳光武之所兴，有高山峻岭可以控扼，有宽城平野可以屯兵；西邻关、陕，可以召将士；东达江、淮，可以运谷粟；南通荆湖、巴蜀，可以取财货；北距三都，可以遣救援。暂议驻晔，乃还汴都，策无出于此者。今乘舟顺流而适东南，固甚安便，第恐一失中原，则东南不能必其无事，虽欲退保一隅，不易得也。况尝降诏许留中原，人心悦服，奈何诏墨未干，失大信于天下！”

高宗皇帝听之，乃收还手诏，许幸南阳拟于秋末冬初启行。

但黄潜善、汪伯彦之流仍力主高宗皇帝东南巡幸，其亲信上书道：“汴都蹂践之余，不可复处。瞧阳封域不广，而又逼近河朔，敌易以至。南阳密迩中原，虽易以号召四方，但今日陈、唐诸郡，新于乱，千乘万骑，何所取给！夫骑兵，金之长技，而不习水战。金陵天险，前据大江，可以固守；东南财力富盛，足以待敌。唯江宁实古帝都，外连江、淮，内控湖、海，为东南要会。伏唯观察时变，从权虑远，趣下严诏，夙期东幸，别命忠勇大臣总领六师，留守京邑；又行清野于河北、山东诸道，候军声国势少振，然后驾还中都，则天下定矣。”

高宗皇帝听后，深以为然，于是决定巡幸江宁，李纲数次上奏，皆被驳回。

此时有人劝李纲道：“公决于进退之义得矣，而今对官家谗言者不止，将有不测之祸，该当如何？”

李纲正色说道：“大臣以道事君，不可则止，我只知事君之道，却不知顾全自己进退之节。患祸非我顾虑之事，天下自有公议，此不足虑。”

此时张浚为御史，上书弹劾李纲虽负才气、有时望，然以私意杀侍从，典刑不当，不可居相位；又论李纲杜绝言路，独擅朝政，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格，公吏为奸，擅易诏令，窃庇姻亲等十数事。

高宗皇帝又听黄潜善之言，拟旨责李纲以“狂诞刚愎，谋谟弗效，既请括郡县之私马，又将竭东南之民财。以喜怒自分其贤愚，致赏罚弗当于功罪。出令允符于清议，屡抗执以邀留；用刑有拂于群情，必力祈于亲札，以至帖改已画之旨，巧蔽外姻之奸。兹遣防秋，实为渡河之扰，预颁告命，厚赐缗钱，赏逾百万之多，仅达京师而止，每敦促其速进，辄沮抑而不行，设心谓河，专制若此!”于是贬李纲为观文殿大学士、提举杭州洞霄宫。

可怜李纲一代忠臣，前有拱卫京师之功，后有治政之劳，却不能在任上大展拳脚，最终为奸人所嫉，无奈而退，在相位只得七十五日。