吴玠去后，刘子羽立即着手准备防御，他仔细查看周遭地形，将防御重点落在了利州境内潭毒山处，此山乃是入蜀要道，若取三泉，必自此山而入，此山山形斗拔，其上宽平有水，乃是驻军防御良地。刘子羽心中大喜，起全城军民于山上修筑壁垒，十六日而成险关一座。

潭毒关已成，刘子羽收兴元、三泉两处人马并百姓中勇者聚于关上，严阵以待金军，而此时王俊亦整备所部五千人马来至关上，与刘子羽一道守关，于是关中士气大振。

正当吴玠和刘子羽于潭毒关和仙人关布防以待金军时，饶风关兵败，金军攻占洋州、兴元府之事也传入张浚耳中，听此消息剑南诸州皆惊，各自已经准备徙治之计，而张浚，亦下令移师潼川，但榜文一发，闻者皆愤，或取其榜毁之。

张浚欲移师潼川之事传至潭毒关，刘子羽立即写书于张浚，说道：“刘某屯兵潭毒关，又有吴节度于仙人关断敌归途，敌必不能久，刘某在此一日，则敌不得南进，望宣抚大人收拾民心，勿使百姓轻动。”张浚得书后下令大军暂不撤离，并安抚民心，命剑南诸州不得轻动。

与此同时，完颜撒离喝先入洋州，又往兴元，间欲就粮于当地，但刘子羽在其攻打饶风关时便已经将洋、梁二州粮草尽数迁走，及至饶风关破，更是将兴元府烧得一空。使得完颜撤离喝虽占城池，却是一无所获，粮草日少。此时得知刘子羽屯兵于潭毒关，后方三泉有粮，完颜撒离喝便起大军来攻。

当金军来到时，刘子羽早已准备妥当，上关观看完颜撒离喝军势，只见金军陈兵于关下十数里外，连营数十座，果然军势浩大。刘子羽命人搬来胡床，坐于垒口处，面向金军，一旁诸将见状大惊，跪泣道：“金人就在城下，一旦战事起，弓矢无眼，此处非待制坐处。”

刘子羽闻言大笑道：“大丈夫生于乱世，当以死报国，今日金人若是登城，则子羽死于此。”诸将闻言，皆为其胆识所感，于是个个激奋，愿与刘子羽死守此关。

见到关上严阵以待，完颜撒离喝亲自拍马出阵，来到关下，向上喊话道：“刘经略威名，某亦有所闻，如今饶风关已破，吾大军过处，经略亦只得焚城退避，如今又何苦固守于此死地，若肯开关来降，则不失封赏，岂不美哉！”

刘子羽闻言于胡床上起身，直视完颜撒离喝骂道：“无耻贼子，妄图窥我川蜀，刘某先父死战殉国，吾为人子，岂有背主求荣，大失祖宗颜面之举？前番尔等欲攻阆州，却不得而入，如今刘某在此，若想寸进，先须从刘某尸首上踏过方可！”说罢弯弓搭箭，一箭向完颜撒离喝射去。

原来完颜撒离喝大军攻下洋州后，见城中无粮，便向南而行，欲攻阆州，谁料于半途被王彦率残兵所阻，一连月余，不得寸进，于是复返兴元。此时完颜撒离喝被刘子羽说中痛处，正要发怒，却见关上箭若流星，劈面射来，急闪避时却被羽箭射中铁盔，连忙掩面而逃。

完颜撒离喝受挫归营，心中愤怒，起大军猛攻潭毒关，然关险难登，又有刘子羽身先士卒，率关中军民拼死抵抗，一连数日，皆是无攻而返，只在关下留下尸首无数。

这一日完颜撒离喝正在帐中愁恼，有军士入报，说沿途劫掠粮草已尽，只怕再过数日，便无粮可食。听此消息，完颜撒离喝更添愁苦，便召众将入帐相议，有左右提议分出数支游骑向兴元、洋州境内各处郡县村庄劫掠，以供大军。完颜撒离喝以为得计，便分兵数路，往各处劫掠，自率大军依旧每日攻关不休。