高宗皇帝一路仓皇逃到杭州，为安抚军民，无奈之下效法其父下诏罪己，求直言。诏曰：“朕以菲躬，遭时多故，举事失当，知人不明。昨以宰臣非才，任用既久，专执已见，壅塞下情，事出仓皇，匹马南渡，深思厥咎，在予一人。既已悔过责躬，洗心改事，放斥宫嫔，贬损服御，罢黜宰辅，收召俊良。尚虑多方未知朕志，自今政事阙遗、民俗利病，或有关于国体，或有益于边防，并许中外士民直言陈奏，朕当躬览，采择施行，旌擢其人，庸示劝奖。”

诏书一出，便有御史中丞张守进言道：“陛下处宫室之安，则思二帝母后穹庐毳幕之苦；享膳合之奉，则思二帝母后膻肉酪浆之味；服细暖之衣，则思二帝母后穷边绝塞之寒；操予夺之柄，则思二帝母后语言动作受制于入；享嫔御之适，则思二帝母后谁为之使令；对臣下之朝，则思二帝母后谁为之尊礼：思之又思，兢兢栗栗，圣心不倦，而天不为之顺助者，万无是理也。今罪己诏数下，而天未悔祸，实有所未至耳！”高宗观奏章沉默不语，将其轻轻放在一边。

其时黄、汪二贼在朝中怨声极大，御史中丞张徵上书弹劾两人大罪二十，大略意思为：“潜善等初无措置，但固留陛下，致万乘蒙尘，其罪一；禁止士大夫搬家，立法过严，议者咸云：天子六宫过江静处，我辈岂不是人？使一旦委敌，归怨人主，其罪二；自真楚通泰以南，州郡皆碎于溃兵，重失人心，其罪三；祖宗神主神御不先渡江，一旦车驾起，则仅一两卒舁，致倾摇暴露，行路之人酸鼻下泪，宗庙颠沛，其罪四；建炎初年，河南止破三郡，自潜善等柄任以来，直至淮上，所存无几，其罪五；士大夫既不预知渡江之期，一旦流离，多被屠杀，其罪六；行在军兵，津渡不时，仓卒溃散，流毒东南，其罪七；左帑金帛甚多，不令装载，尽为敌有，府库耗散，其罪八；自澶濮至扬州，咸被杀掠，生灵涂炭，其罪九；谢克家、李擢俱受伪命，而反进用，其罪十；潜善于王黼为相时，致位侍从，故今日侍从、卿监多王黼之客，伯彦则引用梁子美亲党，牢不可破，罪十一；职事官言时病者，皆付御史台抄节申尚书省，壅塞言路，罪十二；用朝廷名爵以胁士大夫，罪十三；行在京师，各置百司，设官重复，耗蠹国用，如以巡幸而置御营使司，则枢密院为虚设，置提举财用，则户部为备员，罪十四；许景衡建渡江之议，挤之至死，罪十五；身为御营使，多占兵卫，不避嫌疑，罪十六；敌人相距，斥堠全无，止据道涂之言为真，致此狼狈，罪十七；敌骑巳近，尚敢挽留车驾，罪十八；卢益自散官中引为八座，遂进枢副，伯彦之客为起居郎，有罪补外，遂除集英殿修撰，二人朋比，专务欺君，罪十九；国家殆辱，不知引罪，罪二十。”

奏章来到高宗皇帝案前，仔细观看后回想当日在扬州时因黄、汪二人不察，以致兵临城下方知，又兼受到惊吓，使得面对后宫如花美眷，竟然无力从事，诸事种种，令高宗皇帝更为痛恨二人。

此时黄潜善、汪伯彦知道自己民怨极大，若是再留于朝廷之中，身居高位，只怕祸患更大，于是入内求见高宗皇帝。

二人在高宗皇帝面前痛哭流涕，数陈己罪，言词恳切，以求高宗免其相位，谪贬出城。高宗皇帝被二人所惑，又想到当日在扬州城中二人对自己的奉迎之情，便不再深究二人之责。下诏谕罢二人左右相为观文殿大学士，黄潜善知江宁府，汪伯彦知洪州。

虽然黄、汪二贼明为谪贬，但所去之处皆是江南富庶之地。江宁府为江南东路首府，洪州是江南西路首府，皆是外放官员求而不得之地。反观李纲，只因上疏直言，便被贬至鄂州，守卫长江。高宗皇帝对忠奸之分别，可见一斑。

此时金军东路完颜宗辅命其弟兀术继续南侵，兀术闻得高宗皇帝渡江逃亡杭州，便命刘豫知东平府，充京东、西、淮南等路安抚使，节度大名、开德府、濮、滨、博、棣、德、沧等州，而以其子承务郎刘麟知济南府。自旧河以南，皆为刘豫所得。而自己则厉兵秣马，准备直取杭州。

高宗皇帝在杭州安定下来之后，因贬了黄、汪二贼，便以朱胜非为尚书右仆射兼中书侍郎兼御营使，又因康履进言，非旦不以王渊渡江时的种种作为而处罚，反将其升为同签枢密院事。