曹操在铲除吕布后，吕布手下将领纷纷归降。为了稳定徐州局势，安抚徐州民心，曹操决定找一个在徐州颇有影响力的人来帮他管理徐州，他选择了他很欣赏的臧霸，征召臧霸，任命臧霸为琅邪相，分割青州、徐州的一部分，委托给臧霸治理。

臧霸在徐州和青州威望很高，早年，为了救被冤枉入狱的父亲，还未成年的臧霸带着十几个兄弟劫狱，将父亲救出，臧霸的孝勇之名在山东传开，黄巾起义后，臧霸带着他的泰山兄弟们投靠了陶谦，屡立战功。后来，曹操为报父仇，铲除了徐州东海郡和琅邪郡夷的陶谦势力，曹操大军走后，臧霸率领兄弟们占领了琅邪国，吕布夺了徐州后，他投靠了吕布。曹操讨伐吕布的时候，臧霸领兵援助吕布，吕布被擒后，臧霸躲了起来。

曹操为什么招安臧霸？因为他招安青州黄巾军尝到了甜头，臧霸率领的泰山兵的实力，曹操是了解的：青州兵是他引以为豪的铁军，但是，在曹操被张绣夜袭大败而逃的时候，青州兵四散逃去，于禁带领的泰山兵临危不乱、且战且退，于禁还泰山兵顺便帮曹操教育了一下劫掠百姓财物的青州兵。值得一提的是，于禁当时率领的泰山兵数量只有几百人，在曹操主力溃败的情况下还能保全自己，泰山兵的确很能打。

于禁，是泰山钜平人，黄巾起义爆发时，于禁被泰山郡同乡鲍信招募，参与讨伐黄巾军。公元192年，鲍信迎曹操领兖州牧，于禁与其党俱封为都伯。同年，鲍信为救曹操而死，于禁一众被分配给兖州军将领王朗。王朗很欣赏于禁，便向曹操推荐于禁之才可任大将，曹操召见于禁，拜军司马。

公元193年，曹操让于禁统兵到徐州，攻打广威。在攻克广威之后，于禁被拜为陷陈都尉。随后，于禁随同曹操到濮阳讨伐吕布，于禁率兵在城南攻破了吕布两座营寨，又率兵在须昌打败了高雅。又随从曹操攻打寿张、定陶、离狐，在雍丘包围了张超，占领了四座城池。公元196年，于禁随曹操讨伐黄巾军刘辟、黄邵等部，屯扎在版梁。黄邵等乘夜袭击曹操营寨，于禁率部下迎击，打败了黄巾军，斩杀黄邵等，黄巾军全部投降。

公元197年，于禁随曹操至宛城，张绣投降。旋即张绣复叛，曹操的阵营被张绣军队夜袭，来不及应付，便各自退兵，非常混乱。唯独于禁约束手下的泰山兵，且战且退。一些士卒虽然战死，于禁也不允许散乱。还没有退回曹军大本营，于禁路上发现十多个衣衫不整的青州兵，一问之下，原来是青州兵在打家劫舍。青州兵原是黄巾贼，后来被曹操招安了，曹操对他们很宽容，因此他们经常放肆。

于禁一看，便决定教训一下这帮青州兵，有些青州兵逃回曹营打小报告，诬告于禁也造反了，有人劝于禁先向曹操报备，于禁说：“如今贼兵就在后面追来，我首先抗敌，至于曹公，他是明智的人，谣言止于智者，怕什么？”于是，于禁筑好濠沟以防敌人进攻，然后才令人通知曹操，向他解释。

曹操听了，认为于禁的做法很对，当众说：“当时敌人来攻，相当混乱，于禁能在混乱中整顿军队，追讨抢掠的恶行，安营筑寨地坚守，真是好将领的榜样。”

于禁就是靠着手下这群泰山兵屡立战功，战绩比张辽还要辉煌。

曹操招安臧霸，除了想让他率领骁勇善战的泰山兵归顺朝廷外，还有一个重要原因：山雨欲来风满楼，他已收到风声，袁绍正在加紧备战，他预感袁绍很快就会跟他撕破脸，他和袁绍之间的决战一触即发，他要避免一切不必要的麻烦，利用一切可以利用的势力，即使是山贼盗匪，只要愿为他效力，立马招安，集中精力对付袁绍。

臧霸的泰山兵还有一个优势，它可以得到持续补充，臧霸的地盘就在泰山郡附近，家乡的子弟兵能源源不断的补充进来。