杜衍是宋仁宗时期最负盛名的贤相之一，资历深，口碑好。庆历七年(1047年)，杜衍上书请求挂印退休，得到了宋仁宗的批准。
杜衍为政清廉，平时从不营殖私产，比如利用手中权力购置良田、经营房产什么的，以至于退休后，连几间像样的房子都没有，只好寄居在南京应天府(今河南商丘市)的回车院。宋代各地都建有回车院，有的作为官员卸任后等待接任者到来的临时住所，有的作为驿站，相当于官员招待所。
杜衍在回车院一住就是十年，吃住简陋，却从无抱怨。杜衍不好酒，即便有客造访，也不过“粟饭一盂，杂以饼饵，他品不过两种”(宋代郑景望《蒙斋笔谈》)，简简单单，丝毫没有玉食笙歌的做派。杜衍一向为人低调，退休后的他，更是朴实如田夫野老，有人劝他着居士服，他却说：“老而退休，哪能以高士自居呀!”他或出游，或读书，或吟诗，还开始练习草书，追求精神的丰富，不追求物质的奢华，过着清贫自乐的生活。
然而，低调做人的他，在退休的日子里却发生了两件让人啼笑皆非的事情。
据宋代朱彧《萍洲可谈》记载，一次河南府(今河南洛阳市)举行宴会，作为退居二线的老领导，杜衍应邀出席。酒席筵前，杜衍戴着居家便帽，穿着深色便装，端坐一隅，不作声响。
事也凑巧，河南府太守有事出去一会儿，府里的差役又不认识这位曾经名声显赫的老宰相，这时，门口的差役报本路“运勾”到。当时的“路“相当于现在的省，河南府隶属京西北路，运勾是京西北路转运使司属官，相当于财政或税务厅领导，官不大，实权大。于是，大家纷纷起身，向这位财神爷打招呼，套近乎。
运勾是个年轻人，靠长辈的恩荫当上了转运司官员，少年得志，职务不大脾气却不小，见一位糟老头既不打躬又不作揖，像钉子一样钉在凳子上不动，不禁火冒三丈，厉声问：“足下前任甚处?”杜衍头也不抬，轻声回答：“同中书门下平章事(宰相)。”真是不鸣则已，一鸣惊人，年轻的官员顿时面红耳赤，呆若木鸡。
还有一次，一位名列前茅的新科进士，被朝廷安排到边关出任副职，路经应天府，知府王举正得知他才华出众，年少登科，估计前途无量，便把府里那些“牙兵宝辔旌钺”全部安排出来，为这位新贵禁卫开路。应天府的街道上顿时热闹了起来，只见彩旗飘飘，鼓声阵阵，场面盛大，引得老百姓侧目围观，纷纷猜测这是哪位朝廷要员来视察呢?
正好杜衍出门归来，与新贵的队伍狭路相逢，无路可避，杜衍便拉下帽檐，竖起衣领，放慢马步，靠边让路。两个仆人也拉住马，停于路旁。然而，新贵却因杜衍一行没有下马而十分恼怒，没好气地问身边的随从，这是谁呀?随从回答，这是退休宰相杜太师啊……
据《宋史·杜衍传》记载，杜衍逝世之前留下遗言，嘱咐儿子们在自己死后不得铺张，仅以一枕一席、低小的坟墓殓葬。虽然位极人臣，他人之将死还如此低调行事，无疑给那些一得志就忘形的人上了很好的一课。