自20世纪40年代，宋子文被传为世界首富以来，围绕着这位民国财政部长个人财富的争论就没有停止过，这其中既有人为因素，也有时代因素。1949年新年刚过，还要很长一段时间，解放军才会发起渡江战役，但在广州的宋子文便已有了去职的打算。就在蒋介石宣布“引退”的次日，在广州绥署礼堂举行的辞职仪式上，他以不足一分钟的简短致辞，为其26年的从政生涯画上了句号。此后，他辗转于香港、广州、台北、巴黎等地，并在当年6月，举家乘机赴美。这时，往日拥有的财富权势及显赫一时的荣光，都已如国民党的江山一样大片失去了。从此，一段可称为“难民”的生活开始，当时的美国舆论对宋子文不太友好，他们一再狂炒他贪污美援、中饱私囊的话题，甚至认为他因此而成为世界上最富有的人。这一度令宋子文如坐针毡，其实关于宋子文是世界首富的话题由来已久。
宋子文获取财富的途径，总摆脱不了政治特权的干系，也总免不了以权谋私的嫌疑。这也是反对者拿宋子文私人财产大做文章的原因。只是在激烈的政治宣传里，他的财富显然被无限夸张了。其实，又何止是反对者对豪门资产大肆抨击，到了国民党政府统治后期，似乎所有人都对宋子文不满了。
以四大家族中的陈氏兄弟为例，陈氏兄弟窥视财政金融大权已久，但宋子文对财经大权的包揽，使他们未能丝毫染指。而宋子文理财的失败，正为他们打败宋子文提供了机会。他们利用手中掌握的舆论大权，不断地对宋的豪门势力进行讨伐，“炮打宋子文”的文章连连出现。以傅斯年为例，1947年2月，傅斯年仅在半月之内就连续发表了《这样的宋子文非走不可》、《宋子文的失败》、《论豪门资本必须铲除》等三篇文章，抨击宋子文巧取豪夺、祸国殃民，把国家的巨额财富据为己有，“彻底毁坏了中国经济”，“彻底使全国财富集于私门、流于国外”。
至于当日舆论之中，宋子文的财产被传到怎样的程度，以下的材料即可窥豹一斑。据记载，当时一位激烈批评政府的人说，“中国不摆脱宋氏家族，不可能有光明前途。因为他们有十亿以上的美元存在华盛顿、伦敦和阿姆斯特丹等各地银行的个人账户中。”而1949年5月，国民政府的49名立法委员联名提出临时紧急动议，要求向宋子文、孔祥熙、张嘉三豪门“征借”10亿美元，以充实国军军费。这一主意，竟获得全体出席委员赞同通过。面对这种境地，宋子文选择了一走了之。
“首富论”是日本特工抛出来的?
尽管宋子文拥有“两朝国舅”的显赫身份，并长期担任民国财政部长的要职，但直到20世纪30年代，关于宋子文的私人财产还是一个鲜有人理会的问题。而30年代中期以后，人们对此的兴趣，似乎一夜间迸发了，翻阅从此往后的历史时，各类与其财富相关的资料、数据、传说也蜂拥而至。按照一般的看法，这一时期也正是宋子文财富暴发的开始。
1933年秋，因为在军费问题上与蒋介石产生了严重的分歧，宋子文又一次辞去了国民党政府财政部长的职务。政治上的失意，反而刺激了宋子文从商的兴趣。这时，他利用还保留着的全国经济委员会常委的头衔，筹划成立了一家具有强大实力的投资集团———中国建设银公司。宋子文设想，中国建设银公司应该是一个集中了中外各大财团资源的投资公司，资本额1亿元，由中国与英美银行家组成。但此举遭到了日本方面的强烈猜忌，日本驻南京领事明确反对英美等国资本参与其中。日本的讹诈政策，令英美财团只得退避三舍。无奈，宋子文的建设银公司只争取到中国财团的支持。
中国建设银公司成立后，宋子文虽有了中国“摩根”的头衔，但是他清楚这还只是个虚名而已，因为他没有得到中国银行的支持。中国银行本由清王朝的“国家银行”即大清银行改制而来，虽改为商办，但其地位与实力使然，始终是事实上的“中央银行”。因历史的渊源，其一直为北洋系所掌控，而历任的总裁又都是亲日一派的人物。以实为中行灵魂的副总裁张嘉为例，他像宋子文喜欢美国文化一样热衷于日本文化，迷信日本实力，甚至平时穿和服、着木屐、说流利的日语，完全一派东洋作风。因此，中国建设银公司成立后，中国银行很快采取敬而远之的态度，故宋子文深以为恨。
于是，1935年，蒋介石、宋子文、孔祥熙等人在汉口密谋，通过了一项对中国银行的改组计划。这一计划保密工作相当出色，事前既不让张嘉知情，也瞒过了汪精卫、张群、黄郛等亲日派巨头。当行政院长汪精卫得知消息时，所有文件都已敲定，这对亲日派而言，不啻晴天霹雳。宋子文风光无限地担任起了中国银行董事长的职务，从此开始，他凭借着自己掌控的经济委员会、中国建设银公司、中国银行这三大工具，不断实施对民族工商业、金融业的渗透、控制及兼并活动，并以惊人的速度，营造出一个以宋氏家族为核心的官僚买办集团与托拉斯王国。
但作为日本及汪伪一派的反击，宋子文的豪门财富，及其疯狂的敛财行为，随之不断被爆料。例如，1939年，在一份据说是日本特工对国民党政府高级官员存款情况的秘密调查报告中，单宋子文一人就被披露有5000多万元的财产存在上海的外国银行内。又如战争期间，日本曾指控宋子文在大通国民银行和纽约的花旗银行存款达7000万美元。与此同时，宋子文是当时世界首富的消息也不胫而走。