耿直曾多次秘密奏报远在荆州的项羽：“流民剽悍骁勇，而吴越本地人怯懦软弱，主人对付不了客人，一定会造成祸乱，应该让流民还归本土。如果让他们留在地广人稀的吴越，恐怕不久的将来吴越不是吴越人的吴越而是流民们的大本营了。”

耿直这种严重的排外思想却与项羽不谋而合，所以完全信任耿直来管辖吴越地区所以顺便把赵吉调离钱塘。赵吉听说后非常憎恨耿直，以为是他故意在项羽面前告自己状的。

钱塘的大小官员接到诏书后，组织了大大小小一千多号人迎接耿直上任，耿直率领众人进入钱塘城。

赵吉知道这个消息知道大为光火，

“这个耿直在霸王面前告我的壮也就罢了，现在竟然连我城中的大小官员都被他拉去做他的狗腿子，我赵某人实在是咽不下这口气。现在霸王又只说要升我的职务提拔我去荆州城，我实在有些不敢前去，至尊宝你说这是怎么处理？”

此时至尊宝已经成功带着几百人的飞虎军精英队安插在赵吉的阵营中，赵吉被至尊宝的花言巧语哄骗，一直以为他们只不过是比别的河南来的流民更加强壮罢了。赵吉时间一长发觉至尊宝能力很强，于是每每有什么重要的事情都与他商量，这次出了这么大的事情也不免要问问至尊宝的意见。

“大人，这耿直确实是欺人太甚，如今还当做不知情公然带着人马来钱塘城挑衅，这完全就没有给大人下台的机会。我看我们去荆州也是羊入虎口，倒不如揭竿而起反了起事，我想吴越占据天时地利，实在不行我们还能逃到海外，想当初吴越王也犯了造反的重罪就这么拍拍屁股跑了，当时的项羽也拿他没有办法。不知道小的这主意大人觉得如何？”至尊宝怂恿道。

赵吉也是无勇无谋之辈，经至尊宝这么一蛊惑，居然真的听信了他的话。赵吉派手下的士兵迎击前来赴任的耿直，在西门交战，耿直不知道赵吉会这么嚣张公然造反，没有做好充分的准备，最后战败而死。

在这之后，赵吉自称大都督、大将军、钱塘王，安排设置僚属，改换所属的郡守县令，南楚朝廷所任命的官员，没有敢不听从赵吉的。至尊宝趁着赵吉这时急需用兵不会在乎细节，于是从会稽山上偷偷又带了四千多精兵假意归附赵吉，只说这些都是从广陵逃来的士兵，只为归附赵吉，赵吉也是无疑有他欣然接受。

赵吉任命至尊宝为威寇将军，封为阳泉亭侯，把他看作亲信心腹，让他募集六郡的强壮勇武的人，发展到一万余人，以截断西北两处来的道路。

至尊宝本就骁勇又兼智谋，不像赵吉一些手下一样有了权势之后就鱼肉乡民，他与百姓们打成一片还经常出资救济，很得人心。

赵吉逐渐忌恨他，但没有明说。