黄潜善听其说到王渊，恐节外生枝，便说道：“已集数百舟渡诸军。”

高宗皇帝听后，也不辨别真假，便说道：“如今诸军都已处置，不必多言，今日只议去留。”

此时吏部尚书吕颐浩早已看清高宗皇帝本心，只为一路南逃，但因自己身份不便说出，只是想要以群臣之口说出继续南逃的话来。但当日在扬州他与张浚不顾百姓而逃，至今想来，仍是羞愧不已，于是便长跪于阶下拜伏不起。

高宗皇帝不明其意，便看向黄潜善。黄潜善会意，便询问吕颐浩所跪何意。

吕颐浩以首叩地道：“吕某愿且留于此地，为江北声援；不然，金人乘势渡江，愈狼狈矣。”

此言一出，正中高宗皇帝下怀，便顺势说道：“如此，则宰相同往江上经略，号令江北诸军，令结陈防江，仍先渡官吏百姓。”众官得旨，各自退出。

出得堂来，王渊痛恨刘光世在皇帝面前参自己一本，但却不敢对其下手，只得将其手下江北都巡检皇甫佐拿下诛杀。当高宗皇帝知道之时，王渊已经杀了皇甫佐，问其缘由。王渊便借口皇甫佐“佐主海舟，济渡留滞，故而杀之”搪塞过去。

随后王渊又进言道：“暂驻镇江，止捍得一处。若金自通州渡江，先据姑苏，将若之何？不如钱塘有重江之阻。”一旁内侍听后点头称是，于是高宗皇帝也意属钱塘。

第二天，高宗皇帝召来黄潜善，将王渊的话说与他听，征询他的意见。黄潜善知其有南逃之间，便说道：“渊言如此，臣复何辞以留陛下！”高宗皇帝以为大善，便从王渊之言，起驾去往杭州，并诏谕龙图阁直学士、知镇江府钱伯言为枢密直学士，充巡幸提点钱粮顿递，吕颐浩为资政殿大学士，充江浙制置使，刘光世为行在五军节度使，主管侍卫马军司公事杨惟忠节制江南东路军马，屯江宁府。

待得一切安排妥当，高宗皇帝立即启程，自镇江出发，经常州、平江府、秀州等地，最终逃至杭州。

而在高宗皇帝一路南逃之时，江南各处除了金军肆虐之外更有叛军横行。如御营统制官王亦驻军江宁，谋夺江宁以为据点，夜半纵火，吓得守臣秘阁修撰赵明诚缒城而逃。所幸城中江东转运副使、直徽猷阁李谟所部团民兵伏于巷中，待得兵变时鼓噪而出，击退王亦。赵明诚因临阵脱逃而被罢职。

这赵明诚乃是词人李清照之夫。当日李清照听闻赵明诚临阵脱逃，心中鄙视，后行舟路过乌江之时，回想起高宗皇帝以及如赵明诚一般的官吏，面对金人，不思抵抗，只知仓皇而逃的行径，心有所感，于是便作出首传颂至今的千古名句，名为凭吊西楚霸王，实则借古讽今，其诗曰：

生当作人杰，死亦为鬼雄。至今思项羽，不肯过江东。