东晋自偏安以来，时时面临着北方的威胁。祖逖、庾亮、殷浩、桓温都曾先后北伐，但无一成功。为了国家的强大，刘裕决定兴师北上。
义熙五年(409)，南燕主慕容德死，其侄慕容超袭位，纵兵肆虐淮北，掳去晋两郡太守，驱掠百姓千余家。刘裕因此上表北伐。三月，他统领晋军向北挺进。
南燕大将公孙五楼见晋师威猛，向慕容超建议扼据大岘(今山东沂县)，坚壁清野，但被拒绝。刘裕看准时机，冒险越过大岘山隘，一举攻克临胊(今山东掖县)，夺得大量辎重。接着，晋军将士在刘裕的亲自鼓动下迅速进击，直逼燕都广固(今山东益都)。慕容超遁入城中坚守不出。双方进入相持阶段。晋军一方面高垒重堑，将广固团团围住，以燕人之粮充实军用;一方面招降纳降，采取分化瓦解之策。南燕大将桓遵兄弟及徐州刺史段宏相继归附，尤其是尚书郎张纲被俘，对刘裕十分有利，最后正是利用他所设计的攻城器械拿下燕都，活捉了慕容超。刘裕以广固久守不降为由，入城后，尽杀王公以下三千人以泄愤。
齐境克服，刘裕本想停镇下邳，荡凊河洛，但孙恩妹夫卢循复集孙恩残部，败晋军于豫章(今江西南昌)。刘裕不得不班师回朝。回京后，先后督师镇压卢循、剿灭割据长江中上游的刘毅、谯纵势力，逼走司马休之，使南方出现了百年来从未有过的一统局面。
义熙十二年(公元416)一月，后秦主姚兴死，姚泓继位，内部叛乱迭起，政权不稳。刘裕认为这是灭亡后秦的良机。时刘裕图以晋室名声安抚北方人民，故想奉司马德文之名北伐，司马德文因而上书出兵，以修谒晋室山陵，最终刘裕就与司马德文一同率兵出发。八月，刘裕以刘穆之任尚书左仆射，内总朝政，外供军粮，自己率大军分四路北伐。九月，刘裕扺达彭城。龙骧将军王镇恶、冠军将军檀道济领兵由淮、淝转向许、洛，后秦诸屯守皆望风降附，晋军进展神速。十月，王镇恶军占领洛阳。
次年正月，刘裕留其子刘义隆镇守彭城，自率大军北上。此时北魏派十万重兵驻守河北，并以游骑骚扰晋军。刘裕在行军中，虽常设奇阵或用大弩强槊击败魏军，但进军速度缓慢。王镇恶军由洛阳进抵潼关后，为秦主力守险以阻，檀道济军的粮道也为秦将姚绍截断。晋军一时处于危境。王、檀向刘裕求援，而刘裕却为北魏军牵制，自顾不暇。幸得当地百姓的帮助，潼关晋军才转危为安。七月，刘裕摆脱魏军，进至陕城;前锋沈田子攻入武关，进屯青泥(今陕西蓝田)。八月，刘裕至潼关，与诸部会合。
秦主姚泓为缓解两面受敌的危局，谋划先消灭沈田子军，再抵御刘裕，于是率步骑数万急趋青泥。沈田子军本为疑军，不过千余人，但各自为战，骁勇异常，数次出击竟使姚泓败还长安。此时，王镇恶突破潼关防线，率师直进，一举攻陷长安城，姚泓率群臣投降。