少年将军的生活是平淡的，除了战争还是战争，这样一位年少得志，功高权重、冷峻刚毅、英武帅气而又出入侯门帝府如闲庭信步的奇男子，自是流韵生风，在男女大防尚不严苛风气甚为开放的汉朝，无疑会使上层社会的贵妇淑女芳心暗许为之倾倒，演绎出莎士比亚笔下奥赛罗的玫瑰之约和罗马大将安东尼的浪漫之旅是再正常不过的了。令诗家扫兴让史家阙如的是，查霍去病短暂一生，似未有任何旖旎香艳的绯闻艳遇可供炒作。他有一个儿子，但是翻遍史书，也不知道这位为少年将军留下后代的女性是谁。当武帝着人为他造豪华府第让他审视接收时，他都断然予以谢绝。“匈奴未灭，何以家为”他说出了这流传千古的八个字。他真是将国家的安危、社稷的轻重、军人的荣辱看得比什么都重，比泰山都重，遑论儿女私情了。他为抗击匈奴而生，他天生注定就是匈奴的克星，击灭匈奴成了他生存的意义，生命的价值。也可能有一种七尺男儿宁愿马革裹尸，也不愿连累如花美眷的潜意识吧?检点史籍，再没有见这伟岸男儿有何豪言壮语。仅此八字足矣，它已成为历代爱国志士的箴言，胜过许多高头讲章。二千一百年来，它始终轰响在历朝历代戍边将士的心头耳际。他冷峻寡言，善于行动，他的一生行状都写在铁马驰骋战旗翻飞的征战中。
霍去病终生未娶。从十七岁到二十三岁去世，短短六年里六次出击匈奴实行远途奔袭，仗都打不过来，哪还有功夫娶老婆。他有一个儿子叫霍嬗，就是他和他府里的一个侍女生的。侍女身份低微得很，霍去病当然不会娶她，他只认了霍嬗，让他做了自己的私生子。在汉朝私生子是可以容忍的，况且霍去病本人也是私生子。对于霍嬗，霍去病也懒得管，一直把他放在卫青家受教育。霍去病死的时候霍嬗才四岁，汉武帝看在霍去病的份上让这小孩继续做冠军侯，准备把他培养成第二个霍去病。后来汉武封泰山，独独把霍嬗带上山顶举行了秘密的仪式，回去之后霍嬗就死了，也是死的不明不白，我估计是他泄漏了汉武封禅的“秘密”，被汉武秘密结果掉的。霍嬗死时才十一岁，当然没有后代，霍去病就绝后了。但是按封建礼制，兄死无后，弟弟应该负责为哥哥续后。因此霍光就与霍去病旧时的一个侍女(不知道是不是霍嬗的母亲)干了，生下一对双生子，名叫霍山、霍云，过继给霍去病当孙子(按年龄应该是儿子辈，无奈中间毕竟还隔着个霍嬗)。霍光把持朝政三十年，死了以后汉宣帝剪除了霍氏，霍氏一门被族诛。由此看来，还是霍去病运气好，早早死了，不用看见霍家灭门、断子绝孙。
野史上是这样说的!
汉武帝要把卫长公主(卫子夫的女儿)嫁给他，但是霍去病有性格，坚决不娶!因为他不喜欢那个公主，霍少喜欢的女孩身份太低了，所以霍少一辈子不娶。那个公主倒是很喜欢他的，在他死后公主还变成神经病了(受不了霍少死的刺激)。