张学良，字汉卿，号毅庵，乳名双喜、小六子。一生结过三次婚，元配夫人是于凤至，第二个夫人是谷瑞玉，第三个夫人是赵一荻，即赵四小姐。人们皆知于凤至和赵四小姐，对谷瑞玉则知之甚少。
张学良的元配夫人于凤至，字翔舟，富商于文斗之女，生于1897年，自幼聪明伶俐，文采出众，并写得一手清秀俊逸的毛笔小楷。在张家大院的小一辈女人中，张学良的妻子于凤至，最受张作霖重视。这不仅仅是由于儿媳妇的品貌出众，还因为他十分珍视同于凤至的父亲于文斗的旧谊。
张作霖1908年奉徐世昌之命赴郑家屯剿匪期间，到把兄弟于文斗的家中，看中了于凤至的文才人品，就决定由她来做自己的长儿媳妇。当时张学良在奉天(沈阳)求学，追求他的高官之女甚多，他对于凤至这样出身低微的小镇民女根本看不上，所以，当他奉父亲之命，去郑家屯相亲时，写了一首《临江仙》词嘲讽于凤至，暗示于家是在巴结已握有东三省军政大权的张家。于凤至当即回敬了张学良一首《临江仙》，词曰：
古镇亲赴为联姻，难怪满腹惊魂。千枝百朵处处春，卑亢怎成群?目中无丽人。海誓山盟心轻许，谁知此言伪真?门第悬殊难知音，劝君休孟浪，三思结秦晋。
张学良读罢大吃一惊，深悔自己险些与一位才华超群的少女失之交臂。遂回心转意，同意迎娶于凤至。与张学良结婚以后，于凤至深知自己纵有满腹经纶，若没有相当的学历，也难以在张家这豪门大户立足的，所以坚决要求进东北大学读书深造。于凤至的文采学识，张学良常常自叹不如。
于凤至不仅聪慧，而且很漂亮，爱新觉罗·溥杰就曾盛赞于凤至“长得很美”。她生就一张很古典的脸，清清秀秀的，宛若一枝雨后荷塘里盛开的莲。
张学良在同于凤至婚后的漫长岁月里，也越来越被她的友爱、体谅和痴情所感动。他们在1916年结婚，那时学良只有15岁，于凤至也仅18岁。婚后，于凤至可谓双重身份：既是妻子，又是大姐。作为妻子，她已察觉出学良对她用情不专，与别的女人在外同居。面对这些她没有哭闹过，也不曾以疾言厉色来责怪他，而是默默地把苦涩埋在心底，对学良仍然一副温良恭顺的样子。作为大姐，她无微不至地照顾他，问寒问暖，没有半点怨言。1927年，张学良结识了赵四小姐，他们一见钟情，双双坠入爱河。一时闹得沸沸扬扬。面对丈夫的情人，于凤至没有失却昔日风范，待她如同姐妹。这些深为张学良所感动，钦佩。所以，张学良对赵一荻提出，如果她愿意跟随他，没有夫人名义。对外国人称她为自己秘书，对中国人则可称其为侍从小姐。此后他们三人一起出出进进，愉快地生活在一起。凡是和张学良有交往的人，都羡慕他有个和美的家庭，称他有两位贤内助。
于凤至，1990年3月17日午夜12时半，在美国洛杉矶市好莱坞山顶上一座雅致的豪宅里，因心脏病离世，享年93岁。
张学良的第二个夫人是谷瑞玉，人称“随军夫人”。
谷瑞玉，天津人。1904年2月出生于天津附近杨柳青一大户人家。1922年4月第一次奉直战争爆发，当时谷瑞玉刚刚18岁。这年7月间，谷瑞玉在出席二姐夫的家宴时，有幸与张学良结识。豆蔻年华的谷瑞玉不仅天生丽质，而且通晓英语。一年之后，谷瑞玉任张学良的英语翻译，其后二人感情日笃。
1924年9月，第二次奉直战烽火再起。当时，张学良统率着东北军第三军，日夜坚守在山海关九门口前线。正在战事的紧急关头，谷瑞玉来到前线去陪少帅。谷瑞玉在奉直激战的前线陪伴着张学良度过了最困难的时刻，终于迎来了东北军的最后胜利。张学良与谷瑞玉在战地结合的情况传到张作霖的耳朵后，他只好对儿子与谷瑞玉的婚事表示默许，于是，1924年10月，张学良与谷瑞玉遂在天津结婚。
尽管有事实婚姻，可是张学良仍无法将谷瑞玉带回沈阳的大帅府。于凤至由于种种原因也对谷瑞玉难以接纳。所以，在相当一段时间里谷瑞玉一直住在天津。
1928年2月，张学良升任第三方面军团总司令，驻防保定。而素有“随军夫人”美称的谷瑞玉独自居住津门，学会了跳舞、泡酒吧等，常与人打麻将至深夜不散。还经常到北京一连数日听戏不归。数月后，张作霖在皇姑屯遇难。在秘不发丧期间，在天津居住的谷瑞玉未经许可，独自贸然返回沈阳。正是由于谷瑞玉的擅自行动，引起了日本关东军的注意。日本报纸上因此怀疑“秘不发丧”的真伪虚实，称“张学良的如夫人谷瑞玉由津返回奉，说明张作霖在皇姑屯必死无疑。否则一向与大帅府关系并不密切的如夫人是不会在张学良不在奉天的情况下独自返回关东的。”谷瑞玉的贸然行动，埋下了在政治上与少帅分道扬镳的祸根。
谷瑞玉的任性，使她与张学良间的裂痕越来越大。1928年冬天，奉系旧军阀杨宇霆、常阴槐等心生异念，阴谋取张学良而代之。杨宇霆千方百计地收买谷瑞玉作内线，张学良发觉杨宇霆动机可疑，曾提醒谷瑞玉别上杨宇霆的当，然而谷瑞玉却我行我素。是年12月杨宇霆假借为父祝寿之名，请谷瑞玉与少帅一道去杨宅赴宴。张学良随谷瑞玉前往后，险遭一群日本浪人的暗算，幸亏于凤至夫人早已识破了杨宇霆的图谋。此事发生后，张学良对谷瑞玉的误解更深，其婚姻名存实亡。1931年1月，张学良与谷瑞玉解除了婚姻关系。张学良在天津的英租界为谷瑞玉购买小楼房一幢，又给她10万元供其生活之用。
张学良的第三个夫人是赵一荻，她与张学良相濡以沫，共度幽禁岁月，一直到终老。
赵一荻原名赵绮霞，原籍浙东兰溪，1912年，她出生于一个颇有名望的官宦之家，出生于香港。父亲赵庆华是北洋军阀直系政府时期铁路局局长。因在家中排行老四，人们都称她为赵四小姐。她十分美貌，而且冰雪聪明，十四五岁就曾成为《北洋画报》的封面女郎。赵一荻陪伴张学良72年，是中国现代史上的一位颇具神秘色彩的女性，在台湾幽居时期，出版有《好消息》、《新生命》、《真自由》、《大使命》、《毅荻见证集》等著作。
1927年，刚刚过完15岁生日的赵一荻，在天津的舞会上认识了张学良。两人一见钟情，很快坠入爱河。此后的日子里，张学良一有空闲就和赵一荻散步、聊天、打球、下棋或者谈论新诗。
父亲赵庆华知道女儿与有妇之夫张学良在一起，一气之下将赵一荻软禁起来。在六哥赵燕生的帮助下，赵一荻与家人不告而别，去东北投奔张学良，成了张学良的编外夫人。
其父赵庆华气急败坏地只好在报上发表声明：“四女绮霞，近日为自由平等所惑，竟自私奔，不知去向。查照家祠规条第十九条及第二十二条，应行削除其名，本堂为祠任之一，自应依遵家法，呈报祠长执行。嗣后，因此发生任何情事，概不负责，此启。”赵庆华随即声言自身惭愧，从此辞离仕途，退隐而居。
赵一荻以张学良秘书的身份，搬进帅府后，非常感激于凤至的宽厚仁德，对她更是恭顺敬重。她和于凤至和睦相处，情同姐妹。1929年，赵一荻为张学良生下了唯一的儿子张闾琳。
“西安事变”之后，蒋介石背信弃义，张学良在南京身陷囹圄，随后，赵一荻陪随着张学良开始了漫长的幽禁生涯。在与世隔绝的寂寞中，他们俩人相依为命，张学良把一切希望和欢乐都寄托在赵四小姐的身上，赵四小姐则尽自己全部的力量给张学良以安慰和照料。见过的人都说，赵四小姐经常身着蓝衣，脚登布鞋，几乎洗尽铅华，终日陪伴在张学良身边。
在台湾幽禁期间，张学良皈依了基督教。要笃诚地信仰耶稣，就必须依循基督教义的规定，在于凤至和赵一荻之间作出选择。此时，张学良的心里确实格外沉重。最终，他作出了痛苦又无奈的决定，和于凤至解除婚姻关系。
张学良执笔给在美国的于凤至写了一封信，于凤至给张学良写了回信：“你们之间的爱情是纯洁无瑕的，堪称风尘知己。尤其是绮霞妹妹，无私地牺牲了自己的一切，任劳任怨，陪侍汉卿，真是高风亮节，世人皆碑。其实，你俩早就应该结成丝梦，我谨在异国他乡对你们的婚礼表示祝贺!”
1964年3月，结发妻子的离婚手续，从美国寄到张学良手中。1990年1月30日，于凤至在睡梦中安然逝去。
1964年7月4日，张学良与赵一荻正式结婚，结婚典礼在台北市杭州南路美籍友人吉米·爱尔窦先生的寓所举行，来宾有宋美龄、张群等要人。2000年6月22日，赵一荻病逝于美国夏威夷。一年以后的2001年10月14日，张学良也在美国夏威夷病逝，享年101岁，结束了其传奇的一生。