由于曹丕和曹植忙于竞争继承权，司马懿和杨修之间的关系也变得日益对立。

建安二十年，曹操平定了汉中后，司马懿提议立即讨伐刚夺取蜀地、根基尚浅的刘备。

然而，杨修则认为刘备已在益州立稳脚跟，而且曹操初定汉中，民心尚未稳定，凉州刚刚归附不久，发动仓促战争恐难以奏效，并可能导致国力衰竭。

曹操最终采纳了杨修的建议，没有立即开战，反而留下了“得陇望蜀”

的典故。

到建安二十二年，曹操当上了魏王，司马懿再次献计直接称帝，但未获曹操接纳，反而被逐出丞相府，安排到曹丕麾下任职。

建安二十四年，汉中之战后，随着曹植地位式微，杨修因种种缘由被曹操处死。

曹丕事实上已成为魏王太子的继承人，司马懿也被提拔为“太子中庶子”

，位列曹丕身边重要的辅臣之一——即所谓“太子四友”

。

其中陈群、吴质、朱铄三人均在内政管理方面有所建树，但在战略上，唯独司马懿最为出色。

曹操去世后，曹丕代汉建立魏朝，改元黄初，司马懿相继被提升为尚书、御史中丞，并被封为安国乡侯。

因治理黄河水患有功，司马懿于黄初二年进一步升迁为侍中、尚书右仆射。

此时，他已是魏朝廷中的重臣，除了几位年迈的元老如贾诩、王朗、华歆，在文官中已无人可与他匹敌。

黄初五年，曹丕因伐吴之败耿耿于怀，决定再度挥师前往濡须口，以图一雪前耻。

此行中，他麾下的名将如曹休、曹真、夏侯尚、张合、徐晃及文聘纷纷出征。

曹丕将粮草补给等后勤事宜委派给了司马懿，并授予其五千精锐和临时军事权力。

这使司马懿首度触及兵权。

俗语云：“凡事宜慎重启端，始则易于掌控，续后便难收束。”

曹丕对司马懿赞赏有加，赞许他为“萧何再生”

，而司马懿也顺势表示感激，并呈上一篇长达八百字的骈文表敬意。

到了黄初七年，曹丕在巡视南方返回后健康状况急转直下，他对未能顺利征服吴国之事心生悔意。

了解此事后，司马懿上书陈述蜀国与吴国现状，建议集中精力攻蜀。

他认为吴国有陆逊统率外部军事并孙权稳定内政，魏难以速破吴，除非出现极端意外——比如孙权突然撤换陆逊自己指挥，但这样的变数微乎其微。

因此建议先取蜀而后灭吴的战略方案。

虽曹丕采纳此策略，可惜他的身体每况愈下。

最终，在黄初七年的五月份，立曹叡为太子并任命了四位辅佐大臣包括司马懿在内；未久曹丕崩逝，曹叡继位登基。

听闻曹丕辞世，孙权迅速命令诸葛瑾领军进攻襄阳。

当时镇守襄阳的征南将军夏侯尚已亡，面对攻势，襄阳陷入困境。