杜宇飞到方城后，县令孙烨久闻杜宇飞的名气，对他颇为尊重，他依据杜宇飞的履历特长，让他掌县里功、户、仓三曹，兵、法、士三曹由另一个县尉掌管。所谓的功就是主管县里的小吏升降任用、考勤、祭祀、礼乐、学校教育、选举、表疏、医筮、考课、丧葬等事；户就是主管民户；仓就是主管财政、仓库之类。这些文职的工作，对他来说较容易应付，但地方官差事务繁杂，又加一些同僚因为他是被贬谪下来的人，对他冷嘲热讽，故意刁难。方城地僻，没有像样的青楼舞榭，也没有文人诗士可以互相走访，杜宇飞偶尔闲时只能取酒独倾，生活的极其烦闷苦恼。

杜宇飞的夫人王氏因舍不下年幼的孙子孙女，留在了皇都，只有玉娘随杜宇飞到了方城。方城寂寞，杜宇飞空时常去附近的小顶山，与山中黄石道人披云月下、崇冈长啸，以排遣心中的寂寞。小顶山上有三个凸起的尖，山形像倒立的鼎，凸起的山尖被群山环抱，秀色娟娟媚人，非常秀美。可是烟水何曾息世机？杜宇飞在山水秀色间与不在五行中的道士谈道，也依然走不出心中的阴霾。他曾经天真的以为，凭自己怀有的满腹才华，通过努力一定可以实现经世济民，重振家风的理想，也曾经天真的以为有才华就可以通过科举取仕，以施展自己的政治才华。但这一切在现实的面前被击的粉碎！曾经“自笑谩怀经济策，不将心事许烟霞。”可现在，最终还要将心事付诸烟霞寻求寄托。真是造化弄人！

玉娘小心的服侍着杜宇飞，他在的时候就陪着他吟花弄月，以舒缓他心中的郁闷。方群玉的到来让杜宇飞和玉娘都非常高兴，他们摆酒设宴热情接待他。方群玉把杜宪的家信转交给杜宇飞，吃饭时两人谈了些杜宇飞离开后朝廷的境况，都很是感慨。杜宇飞说到自己在方城无奈的处境，心里极为烦闷。当他听说方群玉已辞去官职打算回家的消息，心中一震，自古文人只能靠取仕实现自己的政治抱负，如今方群玉辞去官职还怎么实现政治理想？杜宇飞明明白白的知道，方群玉心怀大志，一心要辅佐皇上实现尧舜之道。可如今却早早辞官！怎能不让人喟叹！

方群玉知道杜宇飞的想法，他说：“老杜曾有‘致君尧舜上，再使风俗淳。此意竟萧条，行歌非隐沦。骑驴十三载，旅食京华春。朝扣富儿门，暮随肥马尘。残杯与冷炙，到处潜悲辛。’的感慨，现在的仕林风气，比起老杜时期，何曾有半点好转？辅佐君王的理想抱负全部落空，不是某等想隐退山林，而是在这污泥的官场中有志无处可伸。况九州之内，处处烽烟，故园虽在，家书难托，怎不使人肚肠寸断！”

杜宇飞对方群玉的话深以为然，有生不逢时之感。同是文人，如果生逢盛世，得遇明君，自能伸展经世济民的政治抱负，也定能写出盛世豪情的锦绣文章。可是眼下，倾险之人情，坎坷之世道，若不得一个耐字撑持过去，几何不坠入榛莽坑堑哉?自己还曾放言光耀棣萼，可人际关系如此贫乏，又怎么能办得到呢？便纵有风华绝代的文采，也只能寄情于青楼，写一些世人所谓的侧艳之词。在一次次的被诋毁，被压制下，忍看豪情泯灭，理想成灰。

两人嗟叹了一会时局，不知不觉都已喝醉。次日杜宇飞欲邀请方群玉在方城四处走走，可方群玉却因思乡心切，无心游山玩水，于是杜宇飞把方群玉送到方城渡口，看着他登上客船挥手而去，心中甚感凄凉，于是就在岸上踏歌为方群玉送行。船在水中走，杜宇飞在岸上边追随着客船边放声唱着骊歌，方群玉立在船头挥手应和，直到船消失在茫茫烟霭中，杜宇飞才骑上马缓缓的往回走。

杜宇飞心情很沉重，方群玉辞官对他自己或许是解脱，但对老百姓，则意味着又少了一个好官。而自己虽然没有辞官，但做的事情又有什么意义呢？现在到处是藩镇割据，各地节度使拥兵自重，藐视朝廷。反叛此起彼伏。“礼崩乐坏兮，瓦釜雷鸣;高岸为谷兮，深谷为陵;痛我生民兮，遍地哀鸿;念我大同兮，恍若大梦;天命何归兮，四海飘蓬。”在这个颠倒离乱的世界上，自己主管的礼仪已经崩坏，战火的烽烟已使城中人烟稀少，青年男子都已被征去打仗，没有了人，还谈什么教育？！除了徒发一些书生的牢骚和叹息。

杜宇飞在方城郁郁不得志的时候，皇都传来消息，说圣武皇帝驾崩，新君惠孝帝继位。