在民间更多流传的是纪晓岚如何智斗贪官的故事，显示其才智、正气，而历史上、学者的记载上则更多是纪晓岚在学问、德行上如何出色，堪称一代文宗。
其实就历史来讲，纪晓岚智斗和珅的故事，大都虚构，纪晓岚是有文人操守，的确可能没有党附和珅等权臣，但是历史上并没有记载说如何与和珅斗争，或者弹劾和珅什么的。纪晓岚在和珅为相期间，只不过是一个侍郎级别的官职，主要的精力都在编纂《四库全书》上，一直在和珅死之后，在嘉庆朝才升迁为协办大学士。刘墉权位与和珅也是相差很远，根本没有力量与和珅抗衡。真正在乾隆朝与和珅都法的是其他几位军机大臣，如阿桂、王杰、董浩等人。
那么为什么历史总是和民间流传相差如此遥远?估计还是人民的心理影响所致。千百年来，人们渴望有清官出现，如历史上的包拯，本是一位相对正直的官员，为官也比较清廉，但在民间却化身为日审阳夜审阴的神人，诸如审乌盆、轧美案，即便是人死了冤屈也可以得到解除，即便是朝廷权臣、皇亲国戚也难逃法网，纯粹是老百姓的一厢情愿啊。
在90年代初，全国热播《宰相刘罗锅》，当时就有学者指出，刘墉一生没有入军机，有怎么能称为宰相?完全是误导观众，乱改历史。但是老百姓却一片欢呼，对这部电视剧赞美有加。
纪晓岚形象的变化也是如此。和珅本是由于政治原因被嘉庆所杀，却被描画成千古巨贪，那么作为乾隆朝最富文名的纪晓岚和最有民望的刘墉，在对抗和珅的事情上自然责无旁贷。
当然也不能说对于朝廷中的奸邪势力，纪晓岚和刘墉就全无反应，他们还是较有气节的，没有同流合污刘墉选择的是假作糊涂，圆滑处事;纪晓岚选择的则是埋头学术，不问世事。纪晓岚这所以如此，也是无奈的选择。
纪晓岚在乾隆33年的时候，由于亲家卢见增，盐茶贪污案受牵连，被发配到新疆，在36年的时候，被召回京城，虽然只有不到三年的时间，但却几乎折尽了纪晓岚一生的锐气。在这段时间中，大儿子纪汝佶病亡，爱妾郭彩符在回京不久后也撒手人寰。在这段日子里，纪晓岚对人生有了更深切的感悟，体会到了君主的无常、官场的险恶与世态的炎凉。一种人生的空幻感与弥漫感伤的情绪时时萦绕于心际。在这期间，他曾为自己的一块砚台赋诗：
“枯砚无嫌似铁顽，相随曾出玉门关。
龙沙万里交游少，只尔多情共往还。”
他还曾为一幅《八仙对弈图》题诗，图上，韩湘子、何仙姑对局，五仙旁观，铁拐李酣然大睡。纪晓岚端详过后，无限感慨涌上心头，信笔写道：
“十八年来阅宦途，此心久似水中凫。
如何才踏青明路，又看仙人对弈图。
局中局外两沉吟，犹是人间胜负心。
哪似顽仙痴不省，春风蝴蝶睡乡深。”
乾隆朝最后的十来年官场越来越黑暗，国家越来越混乱，而老了乾隆帝也不再有青壮年时期的豁达、勤勉，对于负面的建议很难听取，沉醉在自己的所谓“十全武功”之中。纪晓岚与刘墉无奈的都选择了沉默。
他晚年的内心世界日益封闭。年轻时一度才华横溢、血气方刚的他，至此，日感疲惫，再“无复著书之志，唯时作杂记，聊以消闲”，其《阅微草堂笔记》正是这一心境的产物。所以当《阅微草堂笔记》脱稿时，他不无抱憾地吟咏道：
“平生心力坐销磨，纸上烟云过眼多。
拟著书仓今老矣，只应说鬼似东坡。”
嘉庆十年二月十四日，一代鸿儒纪晓岚去世，终年82岁。嘉庆帝曾亲自前往祭奠，并追谥文达