在刘家父子“紧迫感”的驱使下，釜山驻军全员开始整训，包括那1000人的鲜族人队伍，刘天佑想通了，这个年代绝大部分鲜族人对明朝的态度是非常友善的，完全是藩属国看待宗主国的态度，虽然不少人对釜山驻军参与围攻他们心怀芥蒂，但这么长时间的了解、接触下来，剩下的这1000鲜族士兵中大部分对汉人并不憎恨，他们也只是执行军令，他们参与围攻时都不知道许家寨是汉人武装，所以刘天佑准备按照已经定下的步兵训练标准来整训他们，趁机淘汰老弱和那些对汉人不友善的，用新招的鲜族士兵来顶上。
决定整训朝鲜士兵后，刘天佑召开了釜山驻军的军事会议，不错是刘天佑召开的。名义上釜山驻军由赵本荣统领，副统领是刘义海，但赵本荣算是个“聪明人”，而且投降过，所以从不参与釜山驻军的管理，就是充当一个传声筒的角色。刘义海主动性的放权，汉人军营这边的事情全权由刘天佑管理，他做的最多的工作反而是管理那些鲜族军队。赵本荣观察了一段时间后，自然对刘天佑惟命是从，虽然他猜测刘天佑也只是他父亲刘义平的传声筒。
刘天佑宣布了为期三个月的整训期，三个月后按汉人军队的统一标准进行考核，考核通过的留下，不通过的裁撤，裁撤后的缺额数量重新征兵，由鲜族新兵补充，赵本荣见不会对朝鲜兵进行整体性减员，便没有什么意见。整个鲜族兵的整训由赵本荣亲自执行，刘义海监督、考核。
会议开完后刘天佑留下刘义海、赵本荣，他向赵本荣询问朝鲜内部军马的供应途径，他想了很多办法都找不到可以大批购买军马的途径，最后刘家众人商议出唯一可以大批购买战马的方案是同后金进行贸易，拿铁器、粮食去交换，这个方案被刘天佑、刘义平直接否决了，哪怕拿朝鲜的那种级别的铁器去换，他们都不愿意，这可是赤裸裸的资敌。询问后刘天佑觉得找对人了，赵本荣此人不是那种铁血性格的军人，有些滑头又特别识时务，因为他不像以前的朴永成那样有根基，他是土生土长的釜山人，靠资历慢慢熬出来的，这次捡到釜山驻军统帅的头衔其实还是占了刘天佑他们的光，要不然怎么都轮不到他。
面对刘天佑的询问，他姿态摆的比较合理，知无不言、言无不尽，朝鲜的战马资源本就不多，大的马场主要集中在北方，都由朝鲜王族或其嫡系人员控制，对地方上的战马需求都是由汉城那边按需求分配。刘天佑见他对这方面信息知之甚详也就直接询问，他有没有办法弄到军马。赵本荣也知道汉城对釜山断了军马供应，他也知道刘家这帮人是真正的铁血军人，也舍得对军队投入，他权衡后便出了个主意，可以从蔚山那边想想办法，蔚山虽然也属于庆尚南道，但与庆尚北道接壤，庆尚北道那边有马，而且早就听说那边有马匹走私。
刘天佑心想这事找赵本荣还真找对了，这些地头蛇知道的信息远比他们多，只是蔚州那边的谈判不能全靠自己去了，得找外援。很快刘义平找上唐季，请唐季帮忙，刘义海、赵本荣找上了蔚州守备李文江，谈谈他当初出兵釜山围攻许家寨的友谊，最终在唐季的协调下，李文江出面从庆尚北道那边买马，釜山再从李文江手里买马，一匹合格的战马釜山给五两银子的好处费。
1624年春节前几个月，刘家各处捷报频传，刘义平搞定了赵进，赵进同意商会每年无偿支持支持釜山驻军一万两白银的军费，支持刘家建立军需相关联的产业工坊。赵进是明白人，刘义平搞定他就问了几个问题：“赵兄家族源自大明，对大明知之甚深，大明的腐败已经深入骨髓了，赵兄明了吧？大明国祚的问题，我想赵兄也私下议论过吧？朝鲜现在通过政变上台的绫阳君亲明，可能确保他的下一任亲明么？许家寨整个接受招安并成功占住釜山的过程赵兄知之甚详吧？对明朝的兵情司您还敢全面下注么？刘家也源自明朝，现在也同样是流落釜山的汉人，在此乱世中咱自己人手里有硬实力才是正途啊！”
1624年十一月份，兵情司张保磊、唐季给了刘天佑一个惊喜，他们为了加强与刘家的关系并弥补不能给刘家继续补充装备的问题，通过特殊渠道从明朝境内弄过来两位能锻造鲁密铳的工匠，而且是拖家带口的送过来的。刘天佑知道后大喜，两位工匠都快五十岁了，一个只有老伴一人，一个带过来女儿一家，经钱师傅他们确认，这两位进了工坊就指出了几处不合理的地方，而且打造枪管的手艺都很好，比他好。
跟唐季确认了目前明朝境内工匠的待遇情况后，给俩位老工匠待遇翻翻一月工钱三两银子，鼓励他们带徒弟，带出一位能打造鲁密铳的徒弟奖励二十两银子，承诺他们再干两年后给他们转成技术岗，就是干质检、搞研发，并承诺由刘家给他们养老。当晚刘天佑也凑上了给唐季安排的晚宴，他对大明内部工匠的待遇体系不了解，正好跟唐季请教。唐季用一句士农工商就把这个问题说清楚了，手艺比较不错的工匠待遇相当于中农家庭的收入水平，普通工匠的收入近乎于贫农的水平。
刘天佑也搞清楚了目前明朝境内火器相关的工匠都掌握在官府手里，北京周边就有不少大的火器厂，还有不少位于各处边军内，但鲁密铳目前只有北京的火器厂才能打造，边军那边可以打造各种鸟铳。晚宴后，刘义平再次郑重感谢唐季、张保磊对刘家的大恩，并奉上三千两白银的感谢费，刘天佑还厚着脸皮问能否请唐季、张保磊帮忙请两位铸炮的工匠过来，并承诺带过来一位大师傅刘家愿付一千两银子的辛苦费，当然如“请”的过程中要额外的花费，刘家也愿意承担。唐季没有承诺也没有拒绝，只是强调了保密，这两位能打造鲁密铳的工匠在明朝内属于已死亡的人了。
1624年十一月末，刘义兵带着两门12磅、一门18磅的舰炮回来了，他们的回程并不顺利，遭遇了海盗，还好刘义兵也带了战船接应的，恶战一场后安全回来了。按刘义兵的说法，这些海盗在他们登上澳门岛后就盯上他们了，过了大员岛后实施的抢劫，被他们打退了。刘天佑听的一愣，随即反应过来，大员岛就是台湾岛，随口问了台湾的情况，刘义兵说台湾这些年被一伙红毛人侵占了，今年明朝的水师在澎湖那边跟红毛人打了一仗，打赢了。