刘备在小沛作战失败，独自骑马奔向冀州，去投奔袁绍。张飞带领几十名骑兵，前往硭砀山去了。孙乾、简雍、糜竺、糜芳各自分别逃难，只有关羽保护着甘夫人、糜夫人坚守在下邳。
曹操在徐州责备陈珪说：“现在你申辩没有事，就饶恕你们父子杀车胄的罪过。”陈珪极力申辩没有其他事情，他们商量夺取下邳。程昱献计说：“关羽有万夫不当之勇，而且和刘备义气深厚，不用智谋不能攻取他。现在看到以前的士兵都已经投降，在内部也有刘备新招纳的来自徐州等地的人，可以暗中派遣一个心腹，装作是逃回的人进入下邳去见关羽，在城内制造祸端；然后引关羽出战，假装战败，诱骗他到其他地方，再用精兵截断他的归路，之后要么擒住他要么招降他就可以了。”曹操听从了他的计谋，挑选了十几个士兵，命令他们引诱几十名徐州投降的士兵，偷偷出了营寨，直接投奔下邳去投降关羽。关羽于是就把他们当作心腹，收留了他们而没有怀疑。
第二天，夏侯惇作为先锋，率领五千兵马，直接来到下邳挑衅关羽出战。关羽不出战，夏侯惇就派人在城下辱骂。关羽大怒，带领三千人马出城迎战，和夏侯惇交战。关羽和夏侯惇大约交战了十几个回合，调转马头就跑。关羽愤怒地追来，夏侯惇边战边退。关羽大约追了二十里，忽然醒悟过来，带兵就往回走。这时左边有徐晃，右边有许褚，两队军队出现。关羽冲开道路前进，两边埋伏的军队排出一百多张硬弩，箭像飞蝗一样。关羽在前面，许褚在中间踩踏一百多对弩机，箭如雨下。于是关羽无法过去，勒住军队再次返回，徐晃、许褚接住又打。关羽打退他们二人，带兵前进，夏侯惇又过来了。关羽战斗到傍晚，到了一座土山。关羽带兵占据山头，暂且稍微休息一下，看见曹军密密麻麻，摆成了长蛇阵，紧紧地围住土山。关羽远远望见城中火光冲天而起，原来是那些诈降的士兵举火作为信号。曹操亲自率领大军杀入下邳，只是让人举火来迷惑关羽的心，城中的军民都不肯被惊动。关羽看见下邳起火，内心惊慌，连夜冲下几个地方，都被乱箭射了回来，人马都有很多伤亡。
关羽又回到土山，等到天亮，再次想要整顿兵马下山冲突，忽然看见一个人骑马跑上山来，关羽一看，原来是张辽。关羽迎接他，说：“文远是要来和我作战吗？”张辽说：“不是。想到我们旧日的情谊，特意来告知你。”于是扔下刀和马，和关羽进入中军帐说话。两人坐在山顶。关羽说：“文远难道是想要劝说我吗？”张辽说：“不是。我想到下邳城，当初兄长救弟弟，今天怎么能没有弟弟救兄长呢？”关羽说：“文远是要帮助我吗？”张辽说：“也不是。”关羽说：“既然不帮我，来这里干什么？”张辽说：“刘备不知道生死存亡，张飞不知道是生是死，众人都已经失散了。昨夜曹操已经攻破下邳，城中的军民，都没有受到伤害。刘备的家眷，丞相派人保护，有惊扰的就斩首。这样对待他们，我特地来告诉兄长。”关羽大怒说：“这话就是特意说给我听的！我现在虽然处于绝境，但视死如归。你赶快离开，我马上就下山迎战！”张辽大笑说：“兄长说出这样的话，难道不会被万世之人耻笑吗？”关羽说：“我凭借忠义而死，怎么会被万世耻笑？”张辽说：“兄长现在就这样死去，有三条罪过，难道不会被万世耻笑吗？”关羽说：“你说说我哪三条罪过？”张辽说：“当初刘备和兄长结拜的时候，发誓同生共死。近来刘备在小沛战败，应当齐心协力，在战场上死战，这样名声可以万古不朽，却不应该逃走。走到哪里，谁会不容纳？兄长现在想死在这里，倘若刘备再出现，一心指望兄长，兄长岂不是辜负了孤独的主公，而违背了当年的誓言吗？耽误主公丧失生命，实在是不好。这是第一条罪过。从前刘备把家眷郑重地托付给兄长，作为万无一失的计策。兄长现在战死，两位夫人没有依靠，如果她们能守节，无疑会一死；如果不守节，又会属于别人。这是兄长辜负了刘备托付的重任，实在是不义。这是第二条罪过。兄长武艺超群，又深深通晓经史，不思考一起和刘备，匡扶汉室，拯救百姓；只是想要赴汤蹈火，来成就匹夫之勇，对上辜负祖宗，对下侮辱主公，怎么能称为义呢？这是第三条罪过。兄长有这三条罪过，我不能不告诉兄长。”关羽沉思说：“你说我有三条罪过，想让我怎么样？”张辽说：“现在四面都是曹操的军队，兄长如果不投降，必定只有一死；不如暂且投降曹操，却打听刘备的消息，一旦知道在哪里，就前去投奔他。这样一来，可以保护两位夫人；二来，可以保全自己的忠义；三来，可以保住自己的生命。有这三个好处，兄长应该仔细考虑。”关羽说：“你说的话虽然有道理，我有三件事。如果曹操能答应我，我就立刻解下铠甲投降；如果不答应，我宁愿承受三条罪过而死。”张辽说：“丞相宽宏大量，有什么不能容纳的？愿听三件事。”关羽说：“第一，我和刘备皇叔一同发誓的时候，共同扶持汉室，我现在只投降汉帝，不投降曹操，凡是有杀戮，不禀报丞相。第二，两位嫂嫂那里，请给刘备的俸禄来供养她们，所有上下人等都不许到她们门前。第三，只要知道刘备皇叔的去向，不管千里万里，就应当告辞离去。这三件事缺一，我坚决不会投降。希望文远贤弟赶快回去报告。”
张辽随即骑上马，来见曹操，先讲述了关羽降汉不降曹的事情。曹操笑着说：“我是汉朝的元勋，汉朝也就是我。这点可以听从他。”张辽又说：“两位夫人想要刘备的俸禄供给，并且所有上下人等都不许到她们门前。”曹操说：“我在刘备的俸禄内，加倍给她们。其余的是他家的规矩，有什么可怀疑的！”张辽说：“只要知道刘备的消息，即使再远也必定会去寻找他。”曹操摇头说：“这件事却很难听从。我养着关羽有什么用？”张辽说：“难道没有听说过豫让‘众人国士’的论调吗？刘备对待关羽不过是恩情深厚罢了。丞相再施以更深厚的恩情，来笼络他的心，还担心关羽不留下吗？”曹操说：“文远的话有道理，我愿意听从这三件事。”
张辽再次前往山上回复关羽。关羽说：“即便如此，暂且请丞相退兵，让我进入城中见嫂嫂告知此事，就来投降。”张辽再次回去，见曹操并说了这些。曹操立即传令，让城里城外的军马全部后退三十里。荀彧说：“不可以。担心关公有变故。”曹操说：“我知道关羽是忠义之士，必定不会失信。”于是率领军队后退。
关羽带领着战败的士兵进入下邳，看到百姓安稳没有变动，直接到府中来见两位夫人。甘夫人、糜夫人听到关羽到来，急忙出来迎接他。关羽于是痛哭，跪拜在地上。两位夫人说：“皇叔现在在哪里？”关羽说：“不知道去向。”两位夫人说：“二叔为什么痛哭成这样？”关羽说：“我出城拼死作战，被困在土山，兵力微弱将领稀少，张辽劝降，我把这些事说给曹操知道，曹操应允了，放我进入城中。没有得到嫂嫂的话，不敢擅自做主。我思念兄长的容颜，见到嫂嫂所以垂下血泪。”甘夫人说：“昨天曹将军进城，我们都以为要死了，谁想到丝毫没有受到侵害，一支部队都不敢进入门内。叔叔既然已经答应了，何必再问呢？只是担心时间久了曹丞相不容许去寻找皇叔。”关羽说：“嫂嫂放心，我关羽在，必定会去见主公。曹丞相说出的话作为命令，如果有反悔，谁会信服呢？”甘夫人、糜夫人说：“叔叔自己裁决处理，凡事不必问我们这些女流之辈。”
关羽辞别后离开，于是带领数十名骑兵来投降曹操。曹操派将领们远远迎接，谋士们也前来迎接。曹操亲自出辕门迎接。关羽下马，进入拜见曹操。曹操于是还礼。关羽说：“败军之将，深深感激丞相不杀之恩，哪里敢接受回拜的礼节。”曹操说：“我向来知道云长是忠义之士，怎么会加害呢。我是汉朝的丞相，你是汉朝的臣子，虽然名分爵位不等，但我是敬重你的品德。”关羽说：“张辽代我禀报了三件事，希望丞相仁慈。”曹操说：“我说出的话就是命令，想要感化天下四海，取信于天下，怎么会自己废弃呢。”关羽说：“我的主公如果还在，我关羽即使赴汤蹈火，也必定会去寻找他。到时候恐怕来不及告辞，希望能怜悯我。”曹操说：“如果玄德还在，一定会随你去，但恐怕在乱军之中已经没有了。你暂且放宽心，还容我去缉查打听。”关羽拜谢。曹操设宴款待关羽。
第二天，率领军队返回许昌，按量调拨军马先出发。关羽整理车辆行装，请两位嫂嫂上车，亲自带领军队护送前行。曹操派人供应赠送各种用品和饮食。已经到达许昌，军马各自回到营寨。曹操拨出一座府邸，另外让关羽居住。关羽把一座宅子分为两院，内门之外调拨十个老兵来守卫，关羽自己居住在外宅。曹操带领关羽朝见汉献帝，皇帝命令曹操给关羽加官，曹操封关羽为偏将军。关羽谢恩后回到住宅。
曹操第二天设置盛大宴会，召集众多谋臣武士，用宾客的礼节对待关羽，邀请他坐在上座。等到送回时，又准备了绫罗锦缎一百匹，金银器皿一应俱全。关羽都送给了两位嫂嫂。关羽自从到了许昌，曹操对待他非常优厚：三天举行一次小宴，五天举行一次大宴；上马时赠送一提金子，下马时赠送一提银子；以及送十个美女来侍奉他。关羽不能推脱，把所赏赐的美女都送进内门，让她们服侍两位嫂嫂；金银器皿和绸缎等物件，于是逐一抄写清楚后归入库中。关羽每三天一次，在内门外亲自躬身行礼，询问“两位嫂嫂是否安乐”。两位夫人询问完皇叔的事情后，说“叔叔自便”，关羽才敢退回去。曹操知道这件事，更加看重对待关羽。但关羽不曾有喜悦之情。
有一天，曹操看到关羽所穿的绿锦战袍已经陈旧，曹操估量他的身材，取来奇异的锦缎做了一件战袍赏赐给他。关羽接受了，却把它穿在衣服里面，上面用旧战袍罩着。曹操笑着说：“云长为什么这样节俭？”关羽说：“我并非节俭。”曹操说：“我身为汉朝的丞相，难道连一件锦袍都不能给云长吗？为什么用旧袍遮盖它呢？这不就是节俭吗？”关羽说：“旧袍是刘皇叔赏赐给我的，常常穿上它就如同见到兄长的面容，岂敢因为丞相的新赏赐就忘记兄长的旧赏赐呢？所以穿在上面。”曹操叹息说：“真是义士啊！”虽然曹操口中称赞他的义行，但心里却不高兴。关羽回到府邸。
第二天，忽然有人禀报：“内院的两位夫人哭倒在地上，不知道是为什么，请将军赶快进去。”关羽急忙整理衣服跪在门外，拜见请求两位嫂嫂。甘夫人、糜夫人哭着出来，请关羽起来。到底是怎么回事呢？