他是平阳公主府的女奴卫少儿与平阳县小吏霍仲孺的儿子，这位小吏不敢承认自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。大约在霍去病刚满周岁的时候，他的姨母卫子夫进入了汉武帝的后宫，怀孕后发生了馆陶公主绑架且欲杀卫青一事，事情败露后卫子夫并且很快被封为夫人，仅次于皇后。卫青被任命为建章监，与长兄卫长君一起加官侍中，卫氏家族从此改变了命运。
汉武帝刘彻是中国历史上武功颇盛的帝王，而当时的汉王朝，边境不稳，时常遭受匈奴人的侵扰。作为游牧民族的匈奴，几乎把农耕为生的汉朝当成了自己予取予求的库房，烧杀掳掠无所不为。而面对这样的局面，长城内的国家却从秦以来就无力从根本上改变，胜利的时候极少，秦只能寄希望于修筑长城进行消极防御而汉朝却以和亲以及大量的“陪嫁”财物买来暂时的相对平安。
雄才大略的汉武帝希望改变这样的形势，而他很快就在身边找到了和自己有志一同的人，他就是卫子夫的弟弟，时任太中大夫的卫青。
前130年（元光五年)，卫青拜车骑将军，和另三员将领各率一支军队出塞。在这一次出兵过程中，四路大军出塞三路大败，尤其离谱的是老将李广竟然被匈奴所虏，好不容易才逃归。反而是出身“骑奴”，第一次出塞领兵的卫青，出上谷直捣匈奴祭天圣地龙城，斩敌七百。卫青的军事天才使汉武帝刮目相看，他从此屡屡出征，战果累累。
在卫青建功立业的同时，霍去病也渐渐地长大了，在舅舅的影响下，他自幼精于骑射，虽然年少，却不屑于像其它王孙公子那样呆在长安城里放纵声色享受长辈的荫庇。他渴望杀敌立功的那一天。
前123年（元朔六年），卫青领军二出定襄，史称漠南之战。十八岁的霍去病第二次跟从卫青出征。卫青任命霍去病为嫖姚校尉，带领八百骑兵，做为一支奇兵脱离大军在茫茫大漠里奔驰数百里奇袭匈奴，打击匈奴的软肋。此仗霍去病斩敌2028人，杀匈奴单于祖父，俘虏单于的国相及叔叔。汉武帝立即将他封为“冠军侯”，赞叹他的勇冠三军。食邑二千五百户。
前121年（元狩二年）的春天，19岁的霍去病被任命为骠骑将军，独自率领精兵一万出征匈奴。统帅霍去病不负众望，在千里大漠中闪电奔袭，打了一场漂亮的大迂回战。六天中他转战匈奴五部落，一路猛进，并在皋兰山与匈奴卢侯王、折兰王打了一场硬碰硬的生死战。在此战中，霍去病惨胜，一万精兵仅余三千人。而匈奴更是损失惨重——卢侯王和折兰王都战死，浑邪王子及相国、都尉被俘虏，斩敌八千九百六十，匈奴休屠祭天金人也成了汉军的战利品。在这一场血与火的对战之后，汉王朝中再也没有人质疑少年霍去病的统军能力，他成为汉军中的一代军人楷模、尚武精神的化身。此战后，汉武帝加封霍去病二千二百户。