从1913年9月“名流内阁”成立，到1914年2月倒台，熊希龄这半年的总理当得实在委屈，一面备受世人指责和诟病，一面又吃尽了袁世凯的气，于是他决心从此退出官场。或许熊希龄并不是一位伟大的政治家，但他绝对是一位值得人们敬仰的慈善家，晚年他投身教育慈善事业，创办了北京香山慈幼院，收养不能就学的流浪儿童，为国为民培育了大量人才，他还担任过世界红万字会中国总会会长，并为慈善事业捐出了自己的全部家产。
离开政坛致力慈善
北洋政府倒台后，熊希龄也退出了政坛，全身心投入到慈善事业中。民国时期军阀混战，如遇天灾百姓就更如深陷苦海，赈灾成为了熊希龄慈善事业的重要内容，只要某地发生灾情，熊希龄便会尽可能赶往施救。他先后主持了顺直救灾(顺直大致相当于今河北、天津和北京的区域，清代在此设直隶省。)、北五省救灾和湖南义赈等一系列大型灾赈活动。
1917年夏末秋初，河北境内大雨连绵，山洪暴涨，百余县被淹，灾民超过600万人。但在此次赈灾活动中，北洋政府忙于争权夺利，不顾人民死活，所拨赈灾资金极其有限。熊希龄却向全国发出“为天津灾民请赈电”，并将家中旧衣改缝一百套捐给灾民，另捐款500元。十几天内，社会各界捐助的旧衣旧裤达133000多套，赈款达200万元。他还联合梁启超、范源濂、汪大燮等人共同发起水灾游艺助赈会，“征集物品、出售彩票，以所得票资尽数充赈”，并凭借个人声望，向外国洋行借款数百万元，作为救济专款。此外，熊希龄还发电请求唐山、开滦等地矿物局捐赠煤矿5000吨，要求北洋政府为赈灾提供诸多便利，碍于形势，北洋政府被迫应允，以工代赈计划由此得以实施，拯救灾民达500万之众。这就是著名的顺直救灾。
在熊希龄一生为慈善事业所做的贡献中，香山慈幼院无疑是最闪亮的一笔。1917年，熊希龄的夫人朱其慧负责的女红十字会与北五省灾区协济会在北京郎家胡同合办了一个灾区儿童临时教养所，共收男女儿童300余名。1920年赈务事竣，100多名儿童被各自的父母领回，剩下200多名孩子无人认领。于是，熊希龄决定设立一所慈幼院，以“教养孤贫失学之男女儿童，使有适当之智能道德，俾可谋生于社会”。这就是后来驰名一时的北京香山慈幼院的由来。
在熊希龄的主持下，香山慈幼院推行学校、家庭、社会“三合一”的教育理念，即儿童在院中不仅能得到收容，更能得到相应的教育和培训，掌握一些谋生技能。在上世纪二三十年代的中国，香山慈幼院的教育模式取得了引人瞩目、举世公认的成效。据当时的报纸透露：1929年7月初，美国记者参观团赴香山慈幼院参观，称赞它“较之美国所办幼稚学校有过之无不及”，希望创办者“本奋发之精神，时时努力，以作将来世界幼稚教育之模范”。
在办学过程中，熊希龄真心地把自己当成贫儿的父亲，为办好香山慈幼院，他竭尽心血，亲自撰写院歌、标语，对每一位院童都关怀备至，四处忙碌奔波，募集院款。1932年，他更是将全部家产都捐献给了救助儿童的慈善事业。
65岁娶了侄女的同学
自隐退政坛后，熊希龄一直低调做着慈善，但1935年的一条爆炸性新闻却让熊希龄重新占尽各大报纸的头条，65岁的熊希龄与37岁的毛彦文在上海结婚了。
熊希龄一生共娶了三位夫人，廖氏、朱其慧、毛彦文。廖氏是贵州镇远人，1895年患肺病亡故。前文提到，恩师朱其懿将妹妹嫁给熊希龄已经是廖氏去世之后的事，两人育有一子二女。在香山慈幼院建立后，朱其慧全力协助丈夫兴办平民教育，积劳成疾于1931年病逝。熊希龄对朱其慧用情很深，夫人病逝后，他一度悲恸欲绝，他蓄起长须，并亲笔撰写《熊夫人事略》，痛悼亡妻。熊希龄的第三任妻子毛彦文，是民国时期的一位才女，1898年生于浙江省江山县城的乡绅之家。曾就读于北京女子高等师范英文系，1925年毕业于南京金陵女子大学，1929年赴美国密歇根大学留学，获硕士学位。回国后在上海复旦大学、暨南大学任教。毛彦文从小就很有主见，十六岁时曾为了青梅竹马的表兄逃婚，并教书供表兄留学，最终却惨遭遗弃。此后，被大才子吴宓苦恋多年，但已对爱情失去信心的她始终没有接受吴宓的爱，一直独身到三十多岁。
说起毛彦文与熊希龄的缘分，那还要追溯到她读中学的时候。上世纪二十年代初期，毛彦文在北京女子高等师范就读，与熊希龄的内侄女朱曦、朱嶷是同学而且关系很好，当时朱氏姐妹就住在熊希龄家里，所以毛彦文也经常会光顾熊府，但那个时候毛彦文见到熊希龄要恭敬地叫一声伯父，那时的两人谁都没想到会成为伴侣。
作家张昌华在《民国风景》一书中曾提到十几年后熊希龄追求毛彦文的细节：1934年，熊希龄到沪，住在朱曦家。出于礼貌，毛彦文应朱曦之约去看望长辈熊希龄。紧接着，朱曦前往复旦找毛彦文聊天叙旧，最后亮出代姑父求婚一事。毛彦文一听吓了一跳：“这怎么可以?辈分不同，你的姑父我称老伯，再说年龄也相差太多。”拒绝了。次日，熊希龄亲赴复旦约见毛彦文，同时加大攻势，几乎每天写信或填词寄赠。朱曦还打电话给熊希龄的长女熊芷，熊芷怀五六个月的身孕，从京抵沪，代父求婚：“您可怜可怜我吧，看我这样大肚子由北平赶来上海，多么辛苦。我是来欢迎您加入我们的家庭的。”各方亲友也恳切相劝，弄得毛彦文六神无主。在这重重包围下，两个月后毛彦文终于首肯。
1935年2月9日，熊希龄、毛彦文这对老夫少妻在上海慕尔礼堂携手走上红地毯。此事成为一大社会新闻。上海《申报》以《慕尔堂中熊希龄续谱求凰曲》为大标题，作长篇报道。沪上名人黄郛、李石曾、吴铁城、章士钊、杜月笙和梅兰芳等群贤毕至。
熊希龄面对世人的种种杂议，十分坦然，他在应邀报告新人恋爱经过时，他说：“新娘本叫我老伯的，这回我向她求婚，她还以辈分不同为推托，我们的结合，完全为事业。”诚正如此，婚后毛彦文数十年如一日殷殷致力于夫君的慈善事业说明了这一点。
熊希龄毛彦文合影
毛彦文在晚年回忆时说：“(我们)整天厮守在一起，要是没有看见我，便要呼唤，非要我在他身旁不可，终日缱绻不腻，彼此有说不完的话，此种浓情蜜意少年夫妻亦不过如此。”“令我陶醉，令我庆幸。”蜜月期间，熊希龄作《莲湖双鹭图》并题词赠毛彦文，以志“一生花下，朝朝暮暮相守。”
受沈鸿烈之邀来到青岛
毛彦文的《往事》中记载：民国二十五年(1936年)“夏间，中华慈善协会在青岛举行年会，我俩由北平前往参加，备受青岛市市长沈鸿烈先生的热情招待。因之年会结束后即留下避暑。”
据鲁海介绍，在青岛期间，熊希龄夫妇拜会了客居在青的老友孔祥榕(孔子后裔)，相见后一行人去崂山别墅做客，熊希龄十分喜欢孔家的别墅，还请孔祥榕依样也为自己建一座。熊氏夫妇的这次来访，也得到了市长沈鸿烈的礼遇，安排他们游览汇泉、崂山等地，深感青岛风景之佳，夏天的凉爽，对青岛留下了美好的印象。
早在1931年5月，青岛市就在上海路63号成立了“青岛市立救济院”，隶属市社会局，全院分设残老所、孤儿所、育婴所、济良所、贷款所、施医所、习艺所。其中，育婴所作为收养社会弃婴孤儿的慈善机构，规定市民如发现街头有遗弃婴儿送往育婴所者奖励2元，市民年逾四旬无子女者可从中认养婴儿。但救济院始终资金短缺。1936年，政府划了几块房产给救济院，用于出租，将租金用于维持经营。正鉴于此，青岛在慈幼事业上与香山慈幼院有着合作发展潜力，因此熊希龄先生决定在青岛推行普及慈幼教育事业的试点。
筹集经费建青岛红万字会
据毛彦文在《往事》中回忆：“(1937年)四月底，应青岛市长沈鸿烈的邀请，由北平赴青岛，筹商青岛市与香山慈幼院合办婴儿园事宜。秉(指熊希龄)拟长住青岛，故选赁住宅……赁福山支路十二号住宅，该宅面临东海、蓝天碧水、红瓦绿树，为居家之胜地。”
来青后，熊希龄马上着手筹建工作，但遗憾的是地址已定于上海路，还未及开工，卢沟桥事变就爆发了。日本发动了全面侵华战争，很快占领了北平、天津，侵略军南下，青岛告危。在此恶劣形势下，7月21日，熊希龄与毛彦文只好由青岛乘轮船至上海。随即，“八一三”淞沪会战爆发，熊希龄率领人从事救护工作，并组织人员收容难民。后来，上海沦陷，熊希龄又辗转到香港。到香港后，熊希龄先生不顾年迈为抗战继续募捐资金，因突然中风，救治不及，1937年12月25日，67岁的熊希龄先生在香港与世长辞。
值得一提的是，虽然没有在青岛建成慈幼院，熊希龄还是给青岛留下了另一座建筑—— 青岛红万字会旧址，也就是现在的青岛市美术馆。因为他是世界红万字会中国总会会长，初来青岛时看到青岛红万字会在新泰路上，规模太小，于是建议建新址，沈鸿烈在青岛河畔批予土地(大学路、鱼山路口)，熊希龄1936年来青岛市帮助筹措经费，这座大学路上的标志性建筑才得以完成。