抗战后期，孔祥熙因鲸吞巨额美金公债的丑闻被弄到了国民参政会。他再也混不下去了。1945年5月，他不得不“辞去”行政院副院长职务，7月又辞去中央银行总裁职务。
1946年，孔祥熙在上海对其财产作认真清理，把能带走的东西尽量转移到香港和国外。1947年夏天，孔祥熙回到了他的老家山西太谷。
在太谷，孔祥熙隆重宴请了各亲戚本家，然后与他们揖手告别。待一切准备充分后，他先让夫人宋蔼龄赴美，自己则于这一年秋天来到上海。几天后，孔祥熙向蒋介石及国民党中央发出一电，以“忽接家人自美来电，谓夫人染患恶病，情况严重”为由，不等蒋介石批准，他随即匆匆买了飞机票，飞往美国。
孔祥熙到美国后，住进了离纽约不远的里佛代尔一幢豪华的别墅。这是他早先花巨资买下的，他与夫人宋蔼龄将长期住在这儿。另外，他们还在纽约郊区花160多万美金买下了一幢高级住宅，同时，孔祥熙还在纽约最繁华的闹市中心百老汇大街一家星级旅馆，长期租了一个房间，每天租金150美元。如此高昂的消费，连美国富翁也自叹弗如。
来到国外，孔祥熙已没有很多事可干了，除了陪他的夫人宋蔼龄看病外，隔一天，他得到纽约去照看他的中国银行。1950年，台湾的蒋介石“总统府”聘他为“资政”，但他远在美国，这仅仅只是个荣誉性的头衔而已。孔祥熙觉得自己“无官一身轻”，悠哉游哉，他要在这所谓的“自由乐土”上无忧无虑地度过晚年。
然而，美国并非他所想象的那样是块安定的“绿洲”。美国总统杜鲁门一直对国民党贪官污吏将他们庞大的美援中饱私囊而愤愤不平。在杜鲁门的直接命令下，美国联邦调查局开始调查孔家、宋家在美国的财产，并对孔祥熙实施秘密监视。对此，孔祥熙惶惶不可终日。后来，孔祥熙找到一位美国的朋友，这个朋友给他出了一个主意。
首先，孔祥熙与这位朋友进行了多方面的幕后活动，终于打通关节，由美国参议院外委会及美国财政部公布了一个类似“证明”的材料，说什么在美国的全部华侨连同中国银行在内，所有存款不超过5000万美元，这就从侧面否认了杜鲁门关于10亿美金的猜测。然后，孔祥熙破例接见记者，编造了一些谎话。他说:“我家祖辈父辈，历来经营票号、商号，家产总算是富有的，不过，这几十年来，由于通货膨胀，战乱频繁，祖产大部分都损失了。本人投资于国内各工商事业的资本，这次大陆沦陷，也整个荡然无存。民国以来的内战，和大陆的沦陷，孔家损失惨重，目下生活所需，不过是剩下的一点积蓄而已。”言罢神情感伤，似乎他真的是一无所有了。
这一着果然奏效，联邦调查局的监视、调查不了了之，孔祥熙的危机也随之而解。
1954年，蒋介石在台湾召开第二届所谓“国民大会”。孔祥熙认为重温旧梦的时机已经到来，便突发奇想，回台湾去参加竞选“副总统”。为了谨慎起见，便派曾任过台湾省主席的魏道明先到台北去探察行情。
此时的蒋介石对孔祥熙已不感兴趣，他早把这位亡命美国的连襟忘到九霄云外。为了在台湾重建蒋家王朝，蒋介石把希望放在了太子蒋经国的身上，他采取一系列措施，对国民党进行改造，重新进行人事安排，重用陈诚等人，让他们辅佐太子。这种格局逐渐形成，不可能让孔祥熙插上一脚，卧榻之旁岂容他人酣睡。
魏道明一到台湾，蒋介石就深知其意，连忙授意陈诚、蒋经国将孔祥熙的代表挡回去。于是，陈诚、蒋经国便命一家报纸发表文章，大骂豪门，矛头直指孔祥熙，连魏道明也当作豪门走狗一并痛骂。魏道明自知不妙，灰溜溜返回美国向孔祥熙复命。
孔祥熙的复出希望彻底破灭了，这对他的打击很大，想到过去随蒋介石鞍前马后，拼死效力，没有功劳也有苦劳，可现在蒋介石六亲不认，只认亲儿子，回首过去，自己实在荒唐。这以后，孔祥熙不再与闻政治，心中的政治欲火已如死灰一般，不再复燃。平时，他只参加一些公益活动，如为慈善机构捐款，在大学设立奖学金等等，他像变了另外一个人，给人的印象，是老气横秋的面貌与万般无奈的神情。
但随着年龄的一天天增大，孔祥熙思旧与思乡的情绪越来越强烈。每当他一人静下来的时候，思绪就回到了他的山西。可如今那里是共产党的天下，他是回不去了。在思考很久后，他决计回台湾，至于蒋介石是否欢迎他回去，他认为回台湾去当个普遍的平民，应该不会成问题的。
1962年10月，孔祥熙从美国飞回台湾。蒋介石对孔祥熙的到来不冷不热，虽然此时他儿子蒋经国的势力已大，年迈的孔祥熙已不能构成其威胁了，但孔祥熙毕竟是经国的长辈，多一个这样的人，对经国总是不太方便。因此，蒋介石只是对孔祥熙作了礼节性的拜访和谈话，然后给他安排了一个“国民党中央评议委员会评议委员”的虚职，就不再理睬他了。
蒋介石的态度，令孔祥熙大失所望，只好忍气吞声、暂且住下再说。他觉得台湾的生活环境十分亲切，但生活在其中，又感到并不比在美国自由自在和心情舒畅。因此，孔祥熙在台湾勉强过了三年四个月后，便以赴美治病为借口，于1966年2日28日再度离开台湾，而且决心不再回来。当孔祥熙与一些故旧戚友握手道别时，忍不住老泪纵横。
到美国后，孔祥熙与宋蔼龄一道搬进了长岛洛卡斯特谷菲克斯巷的一幢新别墅，他绝了一切幻想，死心塌地地住在那儿，边看病，边休养，生活过得幽闲而平静。
1967年7月22日，孔祥熙起床后，躺在软靠背椅上，漫不经心地看报。突然，他感到身体极不舒服，家人急忙把他送往纽约的医院诊治。医生们曾一度稳住了病情。但8月10日又开始恶化，8月16日死于纽约医院，时年88岁。