张湟言只得下令全军退往巢湖，准备在巢湖驻军，继续抗清，此时安庆，江宁清军皆至，张部本是蚁聚之兵，一旦受挫，立时溃败，当他赶至巢湖时，军马只剩三千余人。

浙军抵达巢湖后，魏大龙等浙军将领观察水文之后，认为巢湖入冬后水浅，根本不便停留海船，不如进入英霍山山区，那里从前有不少抗清义师的山寨，或许能够立足。

张煌言考虑之后采纳了这个建议，毅然下令全军弃船登陆赶往桐城，由桐城进入山区。

此时清两江总督郎廷佐却是派人送来信使，直言张湟言志向高洁，满清皇帝甚是看中，若全军来降，大清当不吝封侯之赏。

时张湟言由于屡遭败绩，而大好形势毁于一旦，心忧成疾，左右不忍他再跋山涉水，苦劝其投降。

然张湟言却依旧咬牙坚持，誓死不渝，带兵毅然转入山区。

英、霍山区属于大别山系，正处在河南、安徽、湖北三省之交，山势波澜起伏，常年云雾缥缈，在安徽境内尤其险峻，陡崖、峡谷遍布，仍有一些抗清组织在山中筑寨。

由于浙军不少士兵的眷属随行，加上武器辎重，故而张行进速度很慢，六天之后才到达桐城。

浙军进入山区之后，不只跋山涉水，还需翻越险峰峻岭，连骑兵都只能牵马而行，而且绝大部分的士兵都来自沿海，缺乏登山的装备和经验，连续行军之后，一个个疲惫不堪。

原本浙军的目标是阳山寨，一个位在山顶的村寨，可容纳上万人，一直是抗清的根据地。

张煌言先通过山民联络，才得知阳山寨已接受清军招抚，原因正是南京兵败。

张煌言大为愤怒，欲领兵攻击，但虑及地势险峻，仰攻不易，终究放弃，改往英山山区。

岂料当他率军抵达东溪岭时，却被清军追至，双方在东溪岭决战，由于浙军俱是水军，不善于陆上作战，加之行军疲惫，遂被清军包围。

在危急关头，张湟言并不气馁，抱病督军死战，至第三日，浙军终于弹尽粮绝，然而这些明军依然死战不退，他们用石头，用木棍和清军殊死博杀，然而清军人多势众，最终攻克东溪岭。

参军徐允耕，以及原清军南陵副将张文胜皆力战身亡，原定西侯张明振麾下参将魏大龙为了掩护张湟言突围，拼死力战，身中十余创，仍死战不退，最终被清军砍杀。

张湟言突围之后，所部人马皆散，他只得换装潜行，至高浒埠方为抗清的军民认出，将其潜藏于家中，待伤好之后，张湟言不顾众人劝阻，孤身上路，欲返回浙东，召集旧部重整旗鼓。

至此郑成功和浙江明军筹备数年的北伐之战宣告失败。

正是：

长驱胡骑几曾经，

草木江南半带腥。

肝脑总拚涂旧阙，

须眉谁复叹新亭！

郑成功和张湟言兵败之后，江南各地闻风而来的抗清义师顿时群龙无首，有的无奈投降，有的潜入山林大湖之中继续抗清。