秦汉时，匈奴始终是中原王朝北方的最大威胁。秦将蒙恬将匈奴击败，逃往漠北，十多年不敢南下。之后，匈奴趁楚汉相争、无暇北顾再度崛起。在杰出领袖冒顿单于统率下，重新掌控中国西北部、北部和东北部地区。西汉王朝建立后，匈奴屡次入侵边境，攻城屠邑，掠夺财物和人口，给西汉北方地区民众带来沉重的灾难。
公元前200年，刘邦亲率大军进攻匈奴。双方在白登山展开激战，结果刘邦被围七天七夜，几乎被俘，后陈平以重金收买了匈奴首领，才得突围。
自此，刘邦不再轻易发动战争，开始休养生息，发展生产。处理与匈奴关系上，刘邦采用娄敬的建议：在政治上和亲;军事上尽量避免与匈奴进行决战。
汉高祖之后，文景二帝继续推行休养生息政策，积极发展生产。
不过，匈奴反而认为西汉软弱无能，结果越闹越凶。
公元前140年，汉武帝刘彻登基，经过60多年休养生息，为武帝的战争动员和实施创造了条件。
十一年后，即公元前129年，汉武帝开始反击匈奴，历时三、四十年。
前127年(武帝元朔二年)，匈奴骑兵进犯上谷(今河北怀来东南)、渔阳(今北京密云西南)等地。武帝派遣卫青率大军北上，出云中，沿黄河西进，对占据河套及其以南地区的匈奴楼烦王、白羊王 所部进行突袭，全部收复了河南地。三年后，卫青率军进入漠南，反击匈奴右贤王;李息等人出兵右北平(今内蒙古宁城西南)，牵制单于、左贤王，策应卫青主力军的行动。卫青出塞二三百公里，长途奔袭，突袭右贤王的王廷，打得其措手不及，狼狈北逃。汉军俘敌一万多人，凯旋归师。彻底消除匈奴对京师长安的直接威胁。
翌年二月和四月，卫青两度率骑兵出定襄(今内蒙古和林格尔西北)， 前后歼灭匈奴军队一万多人，迫使匈奴主力退却漠北一带，远离汉境。
前121年三月，霍去病率军进击河西走廊的匈奴。与匈奴军鏖战于皋兰山下，连战皆捷，歼敌近 九千人。 同年夏，为了彻底聚歼河西匈奴军，武帝再次命霍去病率军出击。为堤防东北方向的匈奴左贤王部，他又让张骞、李广等人率偏师出右北平，攻打左贤 王，以策应霍去病主力的行动。此次斩杀敌军三万余人，共俘获匈奴名王五人及王母、王子、相国、将军等百余人，收降匈奴浑邪王部众四万，全部占领河西走廊地区。
但是，匈奴仍继续南下袭扰。
武帝集中了精锐骑兵十万人，分别由卫青、霍去病统率。另以步兵几十万，马匹十余万配合骑兵主力的行动。卫青、霍去病受命后，各率精骑5万分别出定襄和代郡，沿东西两路北进，决心 在漠北与匈奴进行会战。卫青一举歼俘匈奴军近二万人。霍去病尽歼匈奴左贤王部，俘获屯头王、韩王以下七万余人。
此次战役，尽管汉军付出很大代价，但共歼匈奴九万余人，自此匈奴无力大举南下。
武帝的反击，从根本上摧毁了匈奴赖以发动骚扰战争的军事实力，使匈奴军事威胁解除。匈奴则损失惨重，失去水草丰盛、气候温和的河南、阴山和河西两大基地，远徙漠北苦寒之地，人畜锐减，走向衰落。匈奴国的衰落时期从伊稚斜单于至呼韩邪单于，经历十八任单于，从汉武帝元鼎年间到汉元帝建昭三年(前36年)灭郅支单于为止。