段氏一生功过可任人评说，但其晚年拒不附日，仅这一点，便可青史留名。
在中国近代史的教材中，将段祺瑞定性为亲日军阀。但是就是这位亲日军阀，却在晚年拒绝了日本人的拉拢，坚决不当汉奸，支持蒋介石政府抗日。在抗日大潮中，段祺瑞走完了他复杂的一生。在袁世凯死去后，作为北洋军阀皖系首领，段祺瑞曾是中国政治舞台上权倾天下的人物。孙中山领导的护法运动，反对的就是以段祺瑞为首的北洋军阀。但是1920年的直皖战争，却成为段祺瑞政治生涯的转折点。段祺瑞的皖军不敌直系军队，不过五日即土崩瓦解。段祺瑞见大势已去，不得不通电下野，寓居天津。
寓居天津之后，段祺瑞在家里辟了一间佛堂，每天焚香诵经，煞有其事。段祺瑞吃斋念佛，不过是为了掩人耳目而已，目的在等待政局发生变化。1924年爆发了第二次直奉战争，冯玉祥与张作霖联合打败了吴佩孚，请段祺瑞出山，任中华民国临时执政。但是时局已今非昔比，在北京任临时执政的一年半时间里，段祺瑞寄人篱下，不得不仰承张作霖和冯玉祥的鼻息。1926年4月执政府垮台后，段祺瑞在张学良所派军队护送下，从北京抵达天津日租界，重新过寓公生活。
段祺瑞除了每天静坐念经，看书会客，饭后午睡之外，便是与棋友切磋棋艺。段祺瑞爱好下围棋，且棋艺较高。得势时，专门养了一批棋手陪他下棋，其中不乏棋坛高手。这些人每天必到，伺候段下棋，段对他们也以礼相待。后来成为围棋大师的吴清源，当时年纪不大，但棋艺超群，颇受段祺瑞青睐，总叫他陪着下棋。
随着时光的流逝，段祺瑞日渐老迈。而中国政局也发生了很大的变化，蒋介石成为国民政府领袖，日本人步步紧逼。“九·一八”事变后，日本侵占了我国东北。1933年初又进攻热河，华北危急。与此同时，日本当局在京津物色合适人选，以便组织华北傀儡政权，推行“以华制华”的政策。段祺瑞因过去声威显赫且比较亲日，故成为日本积极争取的对象之一。日本驻天津的特务头子土肥原贤二曾经数次拜见段祺瑞，请他出面组织华北政府，推倒蒋介石，并表示日本愿意全力支持。正在此时，陈炯明见蒋介石内外交困，认为时机已到，便派人北上，与段祺瑞接洽联合倒蒋。段祺瑞对陈炯明来使表示：“我已年老，无能为力，最好请陈炯明速来主持，我当全力支持他一切大计。”
情报机关把消息报告给蒋介石后，他显得焦虑不安。蒋介石深知，段祺瑞虽在野多年，但在华北尚有一定的势力和影响。为防患于未然，蒋介石急忙三管齐下：一是派交通银行董事长钱新之为特使，持自己亲笔签名函件到天津请段祺瑞南下，共商国是。蒋介石向段祺瑞许诺，等将来国内局势稍微安定后，拟改组政府，请段祺瑞出任总统，他自任副总统，直到段祺瑞“百年”后，他再自任总统。二是让段祺瑞的心腹王揖唐、段宏纲等人捏词造谣，说土肥原贤二已准备像把溥仪裹胁到东北一样，对段祺瑞软硬兼施，诱逼他在华北当傀儡。三是由上海地方协会、交易所联合会等民众团体致电段，促使段祺瑞“速发宣言，表明态度，勿坠日人狡计”。
段祺瑞见八字尚无一撇，天机却已泄露，天津成为不可久留的是非之地，觉得不如先南下敷衍蒋介石一番为好，所以虽不乐意，还是应邀赴南京了。
在公开场合，段祺瑞矢口否认南下的政治含义，声称“此行无所谓任务。二小女在沪读书，余思之切，故前往一看”。“余研究佛学多年，将往普陀一游。余素患腿病，时愈时患，藉此长途旅行，以活动筋骨”。“适蒋派员希望过京时一谈，蒋系余之学生，余当然可以见他谈谈”。
但段祺瑞决定南下并非一帆风顺，受日寇差遣拉段祺瑞出山、后来当了汪伪政府要员的王揖唐，一再劝阻其离津。据段祺瑞女儿段式巽回忆，当王揖唐得悉段南下的决定后，曾不止一次地对他吵吵嚷嚷：“我们一向是北方的，去南方能干得成什么?不要去南方，守在北方好。”
行期既定，蒋介石派张群到津，用专车迎驾。就在段祺瑞南下前，王揖唐还不死心，急忙赶来阻拦。段式巽正色对王揖唐说：“王大哥，别再来出主意了。”并叫听差：“快送王老爷回去!”同时急忙搀扶其父上汽车，驶出府邸前往车站。
1933年1月21日，段祺瑞在亲信吴光新、魏宗瀚和侄儿段宏纲陪同下，踏上了南下的火车。在火车上他双眉紧蹙，心事重重，心想此次应蒋介石之邀赴南京，不知是祸还是福，会不会受到礼遇，今后该怎么办。
段祺瑞抵达南京之日，蒋介石通令南京少将以上军官着军服过江至浦口车站欢迎，而他本人则亲往下关码头恭候。轮渡一靠岸，蒋介石就登船迎接，见面时执弟子礼甚恭，口口声声称段“夫子”，自称“学生”。
段祺瑞也给蒋介石面子，当即向记者发表对时局书面意见，宣称：“当此共赴国难之际，政府既有整个御侮方针和办法，无论朝野，皆应一致起为后援。瑞虽衰年，亦当勉从国人之后。”
1月24日，段祺瑞乘车抵沪，《申报》记者就华北问题向他提问。段祺瑞答称：“日本暴横行为，已到情不能感，理不可喻之地步。我国唯有上下一心一德，努力自救。语云：求人不如求己。全国积极准备，合力应付，则虽有十日本，何足畏哉?”“爱国朝野一致，救国唯有自救耳。”段祺瑞本来打算不久就返回天津，尔后又决定暂不返津，以避谣远嫌。
日本当局在段祺瑞南下后，仍不死心，仍想引诱他出山搞“华北五省自治”。不久，日本当局在天津成立所谓“中日密教会”，谎称段祺瑞为会长，更有人假借他的名义四处活动，组织便衣队，扰乱社会治安，助纣为虐。
段祺瑞虽在上海，但他还是很快知道了这一消息。他感到，倘若谣言四处传播，假的也会成真的。5月20日，段祺瑞断然致电王揖唐等人，表明了自己的态度：“余养疴海上，不问世事。目下华北局势严重，恐有假借名义，为轨外行动者，殊非爱国之道。盼诸弟严密访察，告知地方当局，严加制止。”
王揖唐投靠日本当汉奸的决心已下，不遗余力为日效命，并试探段祺瑞对重返天津的意向。为此，他给段祺瑞发了一封隐晦的电报，引起了外界的纷纷猜疑。
1935年的一天，王揖唐给段祺瑞发了一封令外人一头雾水的电报：“玉裁诗集，已预约五部，余诗接洽，再待奉告。王赓。”段祺瑞却是心知肚明。原来，王揖唐初名志洋，后改名王赓。“玉裁”原指清代文字学家段玉裁，但此处则隐喻段祺瑞。“五部”是指所谓的“华北五省自治”。
段祺瑞看出，日本当局仍要他出山。他考虑到，现在毕竟在上海，日寇也奈何他不得，但如若含糊其辞，恐日后蒋介石知道后必生疑心。于是，段祺瑞断然拒绝了王揖唐的邀约，并复一封电报如下：“专电转陈。玉公谓：股东决不同，不约其他方面，切勿接洽。即已预约者，请作罢。”
就在段祺瑞复电的第二天，上海一家报纸用醒目的大字标题登出了一段让局外人颇为不解的文字：“预约诗集有五部，段祺瑞不出售;津王某来电，措词闪烁;段复告务须一切作罢，态度坚决可佩。”
一时猜测纷起，不少记者索性跑到段公馆探问究竟。段祺瑞感到这是向国人表明自己心迹的大好时机，就干脆请《申报》记者把往来的电文公布于众。段祺瑞此举很高明，一时间舆论纷纷赞扬段祺瑞的“爱国举动”。
段祺瑞在上海起初住在市政府为其安排的旧福开森路世界学院，后移居霞飞路前安徽省长陈调元的公馆。蒋介石每月拨付两万元生活费，至于让段祺瑞出任总统之事，以后再也没有提起。而段祺瑞对这类空头支票只是姑妄听之而已，并不期望其兑现，也未接受蒋介石给他的国府委员虚衔。
寓居上海期间，蒋介石曾亲自登门拜访段祺瑞。据段祺瑞女儿段式巽回忆：“那次蒋氏来访，管门的不认识，竟未启大门迎车入内，听任蒋车停在路旁、局处车内坐待。我从二楼遥见似有客至，下楼向仆役询问，接过名刺，则赫然蒋氏。急忙迎入，并扶老父出见。蒋氏向老人先致问候之意，坐定后又对老人的起居寒暖、身体现状及医疗情况等，询问甚详。情意殷勤，言词亲切。坐了一个多小时方辞去。”
在沪期间，段祺瑞与国学大师章太炎曾有过交往。但苦于双方语言隔阂，南腔北调，多有听不懂对方言语之处，故常有不能畅谈之憾。尽管如此，章太炎仍对段祺瑞推崇备至，寄予莫大的希望。段祺瑞七十诞辰时，章太炎专门作了《合肥段公七十寿序》，除了歌功颂德之外，还殷切期望段祺瑞能公忠体国，效法唐代的郭子仪和清朝的李鸿章，肩负起保住长城以内国土之重任。可惜，章太炎的希望落了空，段祺瑞非但未能保全华北，而且因年迈体弱，连自身也难保了。
段祺瑞在天津时已患有神经性关节炎，染过猩红热，到上海那年已是69岁的老人，须发皆白，体力日见衰弱，但生活习惯仍与天津时无异，每天早起诵经、下棋，有时也约客人打麻将。1934年春夏之交，段祺瑞患了严重的溃疡，大量出血，经宏恩医院(今华东医院)抢救，虽然免于一死，精神却十分萎靡了。
这年5月，日本著名棋手木谷实(当时六段)、吴清源(当时五段，尚未入日本籍)一行来沪访问。吴清源与木谷实是日本棋界的两颗巨星，所向披靡，少有敌手，当时上海自然无人可以同他们下对子局的。
吴清源不忘故旧，造访段祺瑞，一个是风华正茂的青年，一个是老态龙钟的遗老，两人相遇，感慨万千，他们再次交手，结果吴清源却以小败终局。段祺瑞心中明白：这一局以尊敬长者为目的的“交际棋”，大概是对他当年惨败的一种安慰吧!
1934年夏天，应蒋介石之邀，段祺瑞曾前往庐山避暑，随行者有段宏纲与顾水如。段祺瑞见蒋介石后，曾谈及围棋，并提到吴清源，说起这位稀有的天才有可能加入日本籍，将是中国的一大损失，应设法召吴回国，指导国人棋艺，否则日本围棋越来越强，中国会越来越落后。
蒋介石当面表示“很好”，其实完全是推托之辞，他当时哪有心思管围棋这类事，结果也就不了了之。段祺瑞死一年后，有人撰文说：“老段死了，斯人而在，斯道(围棋)尚有人提倡。现在我国围棋高手们自段合肥(祺瑞)一瞑不视之后，惶惶然有曙后孤星之感。”
1936年11月1日，段祺瑞胃溃疡病复发，出血不止，经抢救无效，于翌日晚八时驾鹤西去，享年七十一岁。弥留之际，段祺瑞亲笔留下遗嘱称：“余年已七十余，……一切无所萦怀。惟我瞻四方，蹙国万里，民穷财尽，实所痛心。”“国虽危弱，必有复兴之望。复兴之道，亦至简单。勿因我见而轻启政争，勿空谈而不顾实践，勿兴不急之务而浪用民财，勿信过激之说而自摇邦本;讲外交者勿忘巩固国防，司教育者勿忘宝存国粹，治家者勿弃固有之礼教，求学者勿鹜时尚之纷华。本此人勿，以应万有。所谓自力更生者在此，转弱为强者亦在此矣。”
11月5日，南京国民政府明令表彰段祺瑞民国初年两造共和的功勋，称颂段祺瑞“持躬廉介，谋国公忠”，宣布“应即特予国葬”。“平生事迹存备宣付史馆，用示国家笃念耆勋之至意”。
段祺瑞去世后，段夫人迁居愚园路近江苏路口的一幢花园洋房，蒋介石仍派人每月送去生活费5000元，直至其终享天年。
段祺瑞病重时，蒋介石曾拨款二十万元，在皖南黄山购置了一块坟地，拟将段遗体安葬在那里。段祺瑞去世后，其家人亲友都主张葬于黄山。然而段祺瑞长子段宏业对此坚决反对，他声称：“蒋介石不是好人，将来一定没有好结果，老爷子的遗体，千万不要和他沾边。”段宏业力主将灵柩运往北平安葬。
按旧时规矩，长子代父，丧礼以长子意见为重，故段家人不得不从其主张。12月9日，段祺瑞灵柩运抵北平，暂放于西山卧佛寺。
段宏业曾在八宝山等地为其父寻觅一块风水宝地，但始终找不到一块合适的茔地。1937年7月日军占领北平之后，征用了卧佛寺，催段家速将段祺瑞的棺材搬走。当时正值兵荒马乱，段家连活人都自顾不暇，哪里顾得上死人，于是匆匆忙忙把灵柩起出，移到北平西郊段祺瑞的三弟段子猷的坟地南面，就靠在大道边挖个坑，埋了下去。有些段祺瑞生前友好闻此，不禁感叹地说：“没想到老头子轰轰烈烈一辈子，死后会没有一块葬身的地方。”如此可悲的结局，想必也是段本人始料所不及的。
段祺瑞自己没有房产，他不抽、不喝、不嫖、不赌、不贪、不占，人称“六不总理”。他一生酷爱围棋，资助过中国大批的围棋手，包括吴清源、汪云峰和顾水如等，被称作“中国围棋的大后台”。因致电逼迫清帝退位、讨伐张勋复辟和抵制袁世凯称帝这三件事，有“三造共和”的美誉。
解放初期，章士钊到北京后，曾将段祺瑞的历史以书面形式报告了毛泽东。毛泽东阅后，付之一笑：“有功有罪，已经化敌为友了嘛。”
1953年春，段祺瑞的女儿段式巽去北京，章士钊、李济深两位国民党元老对她说：“你想，政府买下你段氏一处产业，花三千元，使用你们的房产，也每月按粮价折款付给租赁费，何曾作为‘敌产’对待?”这正说明，人民政府也肯定了段祺瑞在晚年保持民族气节的表现。
段祺瑞去世二十六年后，1963年，段宏纲和章士钊才在北京万安公墓觅地安葬了段祺瑞。墓碑上写什么好呢?章士钊等反复斟酌，本来想到以下两种写法：一“执政段公之墓”;二“故中华民国执政段公之墓”。最后大家觉得还是不提旧官衔为好，于是就由章题写了墓碑：“合肥段公芝泉之墓。”