之所以说纪晓岚“悲哀”，是因为乾隆对他的评价：“朕以你文学优长，故使领四库书，实不过以倡优蓄之，尔何妄谈国事!”真不知道纪晓岚当时听到这句话是何表情何心态?
乾隆对纪晓岚说这句话的背景是这样的：内阁学士尹壮图指陈弊政，称各省督抚“声名狼藉，吏治废弛”。而晚年的乾隆早已陶醉在自我美化的怪圈里，再也听不进忠言，那些见风使舵的大臣奏议将尹壮图拟斩。纪晓岚与尹壮图之父尹松林为同年进士，因这层关系，纪晓岚为尹壮图求情，乾隆勃然大怒骂出他心中的真实想法，称纪晓岚“不过当作娼妓一般豢养罢了。”
历史总是惊人的相似。一千八多年之前，汉朝司马迁也是因为为他人讲情，因而惹得汉武帝暴怒之下对其施以惨绝人寰的宫刑。司马迁以自己血淋淋的教训总结出：“文史星历，近乎卜祝之间，固主上所戏弄，倡优畜之，流俗之所轻也。”这一幕在纪晓岚身上重演了。幸运的是，乾隆比汉武帝温情多了，训斥一顿之后放过了纪晓岚。
在民间传说中，纪晓岚风流倜傥一表人材，他与乾隆这对君臣的关系是贤明的君主能干的臣子，相互间充满信任、调侃和幽默。纪晓岚正直、机智、英俊、洒脱，他与和珅针锋相对，时时伺机捉弄对手，出他洋相;自己又每每能够成功避开和珅的报复，整的假亦真时真亦假。其实，历史上并非如此，这些故事情节都是人们想当然善意美化的，全属子虚乌有。据有关资料记载，纪晓岚真实的形象和民间传说存在着很大的差异。历史中真实的纪晓岚“貌寝短视”。“貌寝”指相貌丑陋;“短视”就是近视眼。
这位大学士不光有这些缺点还要加上口吃的毛病，朱珪曾有诗描述纪晓岚，“河间宗伯姹，口吃善著书。沉浸四库间，提要万卷录。”但客观地说，纪晓岚既然能通过各层科举考试，长相也绝对不是“对不住观众”，应该能“过得去”，但纪晓岚长相不好看却是无疑的。在乾隆以貌取人的标准下，这些先天不足让纪晓岚吃了大亏。
清史家邓之诚先生说乾隆用人“颇以貌取，文达(纪晓岚)貌寝短视，且江北人，故不为纯帝(即乾隆)所喜。一时若翁覃溪、朱竹君、王兰泉、邹一桂皆不得朊仕，际遇颇相似，纯帝所许为明敏之才，率外擢督抚。若于文襄、梁文定、董文恭，皆以弄臣蓄之。”乾隆对身边近臣的用人标准不但要求这些人机警敏捷，聪明干练，而且要相貌俊秀，年轻帅气。和珅、王杰、于敏中、董诰、梁国治、福长安等人就是这样的例子。因此，即便纪晓岚再才华横溢，他相貌一般般、近视眼、口吃这些“毛病”，是乾隆和纪晓岚一辈子貌合神离，得不到真正重视的一个重要原因。纪晓岚难以做乾隆的宠臣、重臣，难以参与重大的政治决策，只能以文字安身立命，只能做乾隆的词臣。纪晓岚曾出任都察院左都御史，因判案不力，部议本应受罚，乾隆却说：“这次派任的纪晓岚，本系无用腐儒，只不过是凑个数而已，况且他并不熟悉刑名等事务，又是近视眼他所犯的过错情有可原。”一个堂堂学富五车才高八斗的大学士，在他的主子心中竟是个“凑数的腐儒”这般田地，怎能叫人不再说他一次悲哀。纪晓岚一生中两次任乡试考官，六次任会试考官，三次任礼部尚书，这些都是一些无实权的官职，只是大清朝廷花瓶般的摆设而已，是他做词臣真实际遇的体现。
乾隆皇帝让纪晓岚总纂《四库全书》，只是为了给自己多抹点脂粉，为自己的“文治武功”多弄些噱头。让纪晓岚当总纂，这是因为纪晓岚在这方面确实有他人无可比拟的才气，乾隆认为他只能做一些这类的工作，而并不是把他当成独当一面的重臣。总纂《四库全书》时纪晓岚五十岁，他倾注了大量的精力和心血，以自己博大精深的学识、惊人的意志力，对保存和整理我国古代文化遗产做出了巨大贡献。纪晓岚在《四库全书》上经营十三年，亲自撰写了《四库全书总目提要》，还编写了《四库全书简明目录》，他一生的荣耀和辉煌在此达到了顶点。
在纂修《四库全书》的过程中，纪晓岚和许多同僚都饱尝了文字所带来的窘迫、艰辛甚至家破身亡，后人很难从其中看到“爬格子”的那种愉悦。总纂纪晓岚、陆锡熊和总校陆费墀等人都因差错而多次遭到乾隆的呵斥、交部议处、罚赔等处分。最后，总纂陆锡熊在前往盛京校书途中，连吓带冻一命呜呼;总校对陆费墀因无力负担修改费用而被革职，郁郁而终，死后仍被抄没房产祖业。纪晓岚也多次受到训斥和处罚，在乾隆四十五年(1780年)《四库全书》复校完成后，又发现许多讹误，乾隆又“令纪、陆两人一体分赔”。同僚和自己的亲身遭遇带给纪晓岚更深的感触，也使他真切认识到自身所处环境的险恶。纪晓岚腾达始于笔砚，以文字走上仕途，在他所生活的乾隆朝也正是“文字狱”达到顶峰的时期，这也一定使纪晓岚噩梦缠身。
纪晓岚为后世留下一本《阅微草堂笔记》。这部笔记流传甚广，鲁迅说此书“测鬼神之情状，发人间之幽微。”孙犁认为这部笔记“与《聊斋志异》是异曲同工的两大绝调。”纪晓岚之所以也写了这样一本笔记，实是无可奈何之举，他目睹了太多的人由文字而丢了自己的脑袋。这本书完成时，他不无遗憾地吟咏到，“平生心力作消磨，纸上烟云过眼多。拟筑书仓今老矣，只因说鬼似东坡。”以纪晓岚的渊博博闻，著书立说应是举手之劳。可是好多的话好多的事，不是不可写，实是不敢写。除了这本《阅微草堂笔记》，我们没能看到纪晓岚传承下来的更多文字，这对后人来说绝对是一种遗憾。“瑟缩不敢著一语”，反映了他战战兢兢如履薄冰的生存状况和心态。晚年的纪晓岚，常以弈道为喻，言其心志，他起了一个别致的号“观弈道人”，他在下棋时从中体悟官场、世道、人心。纪晓岚久居官场，能够在官场之中左右逢源，肯定有他的为官之道。他追随乾隆吟诗作对，阿谀奉承之作居多，也可见其为人“世故”的一面;再者他为官是各不得罪，尽量保持中立的身份，从来不去意气用事赌气要强，这也是纪晓岚从官场摸爬滚打多年积累出来的经验。
纪晓岚也不是一帆风顺的，在乾隆三十三年(1768年)，因给亲家卢见曾通风报信而卷入盐政亏空案。和珅抓住时机给了他最致命的打击，他被发配到新疆乌鲁木齐。在这段时间里，他的大儿子病亡，爱妾郭彩符也撒手人寰，家破人亡。但纪晓岚依然坚定地从悲痛中走了出来，两年后他又回到朝堂。
纪晓岚一生做过翰林院编修、日讲起居注官、侍读学士、詹事府詹事、内阁学士、总理中书科事务、兵部侍郎、都察院左都御史、兵部尚书、礼部尚书、协办大学士等官，诰受光禄大夫，经筵讲官兼文渊阁直阁事，赐紫禁城内骑马。
纪晓岚具有阿Q般自我安慰的本领，表现为豁达开朗和幽默乐观。清代笔记中提到纪晓岚记载最多的就是他的诙谐。牛应之《雨窗消意录》说：“纪文达公昀，喜诙谐，朝士多遭侮弄。”钱泳在《履园丛话》中也记载：“献县纪相国善谐谑，人人共知。”纪晓岚这种豁达向上的心态，使他在遭受到各种打击中能及时愈合自己的伤口，积极面对。
纪晓岚在69岁那年自题一首挽联如下：“浮沉宦海如鸥鸟，生死书丛似蠹鱼。”把自己比作在官场中起落浮沉的鸥鸟;又说自己如生死书中的蠹鱼。这其中表达了他对自身命运的喟叹，也包含了对自己一生的认识，这也是他毕生经历的真实写照。从这一自挽联中也可以看出纪晓岚对官场的厌倦之情，久在官场浮沉的纪晓岚并没有体会到多少飞黄腾达的快感，他虽然修炼成了超然世外的态度，可称得上是看破红尘，但他的内心更多的时候是充满孤独、凄苦的感叹。
纪晓岚也并非一味地糟蹋自己的人格，他也有一个知识分子的气节。有史料记载，和珅发达专权数十年，内外诸臣无不投靠，纪晓岚作为一个文人，不依附和珅去谋求高位，这本身就很难得。据朝鲜使臣徐有闻所见，当时朝中只有刘墉、纪晓岚、朱珪等人始终不依附和珅。纪晓岚在官场上沉浮了半个世纪，夹缝中走钢丝，以老道的处世经验保全自己求生存，从这一点说纪晓岚是一个成功的世俗人物，是“大隐隐于朝”的典范。嘉庆十年(1805年)，82岁的纪晓岚死于京城，历雍正、乾隆、嘉庆三朝。嘉庆皇帝御赐碑文有“敏而好学可为文，授之以政无不达”之句，故谥号“文达”，这是对他文学才能的最高认可。另外还有“满清第一才子”、“风流才子”、“幽默大师”和“一代通儒”等称号，每个称号后面都为后世留下诸多令人津津乐道的故事。
我们不能要求纪晓岚也去效仿陶渊明那样的“不为五斗米折腰”;或者去学李太白的“安能摧眉折腰事权贵”。这就是历史的多元性，人性的多元性。从另一方面说，司马迁受辱乃有《史记》;纪晓岚忍辱负重才有《四库全书》。
“纪晓岚做不成乾隆的宠信之臣、重用之臣，充其量不过是皇帝养起来的一个文学词臣而已。”每每看到纪晓岚的故事，就想说一句：“悲哉，纪晓岚。”