曹操命妇人守于城上，士兵拒守吕布。

营垒西边有一条大堤，南边是幽深的树林。吕布怀疑曹操有埋伏，对部下说：“曹操诡计多端，切勿进了他的埋伏。”于是率兵驻扎在曹操营垒南边十多里的地方。

次日，吕布再次前来，曹操令一半士兵藏于堤坝之内，一半在外诱敌。吕布进军，曹操派轻兵挑战，双方交战后，曹操的伏兵出动，步骑并进，吕布大败，鼓车被曹操缴获，曹操一直追到吕布军营才返回。

吕布连夜逃走，曹操追击，又攻克定陶，分兵平定诸县。

吕布前往徐州投奔刘备，张邈与吕布同行，兖州自此平定。

建安元年（196年）七月，司马懿17岁，献帝回到洛阳，董承为牵制韩暹等跋扈的将领，又密召曹操来洛阳。

八月，曹操来到洛阳，随后曹操听从董昭建议，于九月迁献帝于许县，他本人被封为大将军，进封武平侯。

十一月，曹操升任司空，行车骑将军事，总揽朝政。

这一年，曹操听从枣祗、韩浩等人的建议，开始实行屯田制。

刘备遭到吕布袭击，投奔曹操。

程昱劝道：“依我看刘备有雄才大略，又深得民心，不会久居人下，不如趁早除掉他。”曹操回答：“如今正是招揽贤才之时，为杀一人而失天下人心，不可。”

建安二年（197年）正月，司马懿18岁，曹操讨伐割据宛城的张绣，驻军淯水。

张绣举众投降，旋即复叛，曹操长子曹昂、侄子曹安民、猛将典韦战死。

《三国演义》里面写，曹操好人妻，纳了张绣的叔婶，张绣反叛。

曹操引兵退还舞阴，张绣派兵来攻，被曹操击退。张绣奔往穰城，与刘表联合。

曹操对诸将说：“我收降张绣等人，却犯了没有立即扣押人质的错误，所以遭到了失败。我明白了失败的原因，请大家看着，从今以后我不会再失败了。”之后回到许县。

割据淮南的袁术僭号，吕布把他的使者送到许县，袁术怒而进攻吕布，结果为吕布所破。

九月，袁术侵略陈国，曹操闻讯亲自东征袁术。袁术得知曹操亲自来，便弃军而逃，留桥蕤等四将镇守。曹操到后，斩杀桥蕤等将。袁术渡淮而走，曹操也回到许县。

建安三年（198年）三月，司马懿19岁，曹操再次南征，围攻张绣于穰城。

五月，刘表派兵救援张绣，并打算截断曹操后路。曹操引军退还，张绣追击，曹操军无法前行，于是结成连营，得以慢慢前进。

曹操写信给荀彧说：“贼军紧追我军，虽然我军日行数里，但我算好了，到安众县时，一定能打败张绣。”到了安众县，张绣和刘表联军守在险要地方，曹操军前后受敌。

曹操于是派人趁天黑在险要处挖凿一条地道，把辎重物资全部偷运过去，又设下伏兵。天明时，张绣军认为曹操已逃走，全军追赶。

曹操便派出步兵、骑兵两面夹攻，把贼军打得大败。

七月，曹操回到许都。荀彧问曹操：“之前您料定一定会打败敌军，这是为什么？”

曹操回答：“敌人阻止我回归的部队，与我军死地战，我由此而知一定会胜利。”

九月，曹操东征徐州，进攻久与他为敌的吕布。

十月，曹操破彭城，擒获吕布的彭城相侯谐。

曹操进军下邳，吕布亲自率骑兵逆击，曹操大破吕布，擒获他的部将成廉，并追击到下邳城下。

吕布欲图投降，陈宫等人劝阻吕布，又劝吕布出战，吕布再次战败，退回城内固守。

曹操用荀攸、郭嘉之计，决泗、沂之水灌城。十二月，吕布部将魏续、宋宪等生擒陈宫，归降曹操。

吕布见大势已去，下城投降。曹操将吕布、陈宫、高顺等人处死，收降吕布部将张辽以及泰山豪杰臧霸、孙观等人，初步控制了徐州。

《三国演义》里面，这个时候刘备有出场，顺便报了吕布夺徐州的仇。