1938年3月20日，日军矶谷师团借攻克滕县之威，在飞机的掩护下，集中4万人，配以坦克、大炮，向台儿庄发动了猛烈的进攻，企图一举攻占徐州。李宗仁以第2集团军总司令孙连仲率部固守台儿庄，第20军团军团长汤恩伯参谋长封裔忠率部让开津浦铁路正面，转入兰陵及其西北云谷山区，诱敌深入，待机破敌。
国民政府军事委员会关于台儿庄战役的意图和部署是，以擅长固守的原西北军孙连仲部防守台儿庄运河一线，一方面防堵日军进窥徐州，一方面将骄狂冒进的矶谷师团吸引到峄县南部地区，而后以隐藏于峄县东北山区的汤恩伯第20军团拊敌侧背，加以聚歼。日军的作战意图是：“确保韩庄、台儿庄一线，并警备临城、峄县，同时用尽可能多的兵力向沂州方面突击，协助第5师团战斗。1938年3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。为诱敌深入，第31师刘兰斋连长率骑兵连从台儿庄出发，向峄县方向搜索前进，91旅旅长乜子彬率183团跟进，在峄县城南20里康庄与日军遭遇。台儿庄地区战斗正式打响，中国军队马队为诱敌深入边打边撤，1938年3月24日，日军逼近台儿庄开始向台儿庄地区大举进攻。
日军在台儿庄北五里刘家湖村设有炮兵阵地，排列10门大炮，向台儿庄猛轰。91旅183团3营营长高鸿立率领士兵，每人一把大刀，8颗手榴弹，杀入敌人炮兵阵地，砍得敌人无法招架，弃炮而逃。当时台儿庄战场上流传着：“活张飞大闹刘家湖的佳话”。1938年3月24日，日军2000多人在飞机、大炮和坦克的配合下，开始向台儿庄大举进攻。坚守台儿庄北门的186团1营在王震团长和姜常泰营长的指挥下顽强抵抗，并在城北门外与日军展开白刃战。打退日军的多次进攻。1营是新兵，几乎全牺牲在台儿庄北门。王震团长也亲自架起机枪向城外日军扫射，当晚，日军200人突破小北门，躲进小北门附近的泰山庙，王震团长亲率将士围攻泰山庙之敌，终将其消灭。24日起，日军反复向台儿庄猛攻，多次攻入庄内。守军第2集团军顽强抗击，与日军展开激烈的争夺战。日军猛攻3天3夜，才冲进城内。
3月24日，当台儿庄激战开始时，蒋介石即赴徐州视察督导，返回时留下副参谋总长白崇禧、军政部次长林蔚，军令部第一厅厅长刘斐、高级参谋王鸿诏组成参谋团在徐州协助李宗仁指挥作战。3月27日，当日军增兵鲁南，战事趋向激烈的时刻，蒋介石亲赴前线车辐山车站，并去台儿庄南站观战。李宗仁劝阻说，委员长之安全系全国长期抗战之成败，万万不可在此久留。蒋介石说 ：王铭章师长与全师在滕县壮烈殉城前，我痛惜未曾与之谋面，今池师长又将及生死关头，我既来此，不可却步。蒋终于在李宗仁、白崇禧等人的陪同下去台儿庄南车站会见了池峰城，这使池惊喜有加。蒋拉着池的手说：你的长官说你是忠勇、精干兼备之人，今天看来此言不虚。池说 ：我师绝对战斗到底，与阵地共存亡，以报国家，以报委座知遇之恩。蒋对池嘉许、勉励一番，挥手告别。
1938年3月27日，得到增援后的日军对台儿庄城发动第3次攻击。日军炮轰台儿庄 围墙，北城墙被炸塌，小北门亦被毁，守卫小北门的181团3营官兵牺牲殆尽，300多日军突入城内，惨烈的巷战开始，城内中国守军同日寇展开了激烈的巷战。尽管日军占据了全庄的三分之二，但坚守在南关一带的中国守军至死不退，死守阵地，目的是为了外线部队完成对日军的反包围。这是李宗仁早已制定好的作战计划，让参谋长封裔忠部以部分兵力死守台儿庄，守军尽量拖住敌人，以便庄外的大军将日寇团团围住，来个瓮中捉鳖。28日，日军攻入台儿庄西北角，谋取西门，切断中国守军第31师师部与庄内的联系。该师师长池峰城指挥，以强大炮火压制敌人，并组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团关麟征第52军和王仲廉第85军在外线向枣庄、峄县日军侧背攻击。
3月29日，日军濑谷支队再以兵力支援，并占领了台儿庄东半部。29日，林蔚转述蒋介石的电令 ：台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即存一兵一卒，亦须本牺牲精神，努力死拼，如果失守，不特全体官兵应加重罚，即李长官、白副总长、林次长亦有处分。31日，国军守军将进入台儿庄地区的濑谷支队完全包围。是时，坂本支队由临沂转向台儿庄驰援，到达向城、爱曲地区，侧击第20军团。该军团即命第52军和刚到的第75军围攻坂本支队。激战数日，予日军以重创，使其救援濑谷支队的计划落空。矶谷师团见救援无望，决定以死相拼，一个个杀红了眼。国民党军队虽以5倍的兵力围攻，并付出极大的伤亡代价，但难以将敌人消灭，战争一时呈胶着状态。
国军反击
1938年4月3日，李宗仁下达总攻击令。第20军团汤恩伯部之第52军、第85军、第75军在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领大部分街市。国军展开街垒战，逐次反击，肃清敌人，夺回被日军占领的街市。4日，中国空军以27架飞机对台儿庄东北、西北日军阵地进行轰炸。当晚，日军濑谷支队力战不支，炸掉不易搬动的物资，向峄县溃逃。
4月6日，李宗仁赶到台儿庄附近，亲自指挥部队进行全线反击，4月7日凌晨1时，中国军队吹响了反攻的号角，以孙连仲第2集团军为主组成的左翼兵团和以汤恩伯第20军团为主组成的右翼兵团在台儿庄及其附近地区大举反攻。一直防守遭攻的孙连仲部，听说反击，神情振奋，命令一下，杀声震天。双方便展开了巷战、肉搏战，一时间，台儿庄城内枪林弹雨，血流成河。日军头一次遭到了国民党军队的如此顽强进攻，很快便溃不成军。台儿庄北面，枪炮声渐密，汤恩伯军团已向敌人开火。矶谷知已陷入反包围圈，开始动摇，下令部队全线撤退。此时敌军已成强弩之末，弹药汽油也用完，机动车多被击毁，全军丧魂落魄，狼狈逃窜。李宗仁命令部队猛追，敌兵遗尸遍野，各种辎重到处皆是，矶谷本人率残部拼命突围。
激战4天，国军重创日军濑谷支队、坂本支队，其余日军残部于7日向峄城、枣庄撤退。至此台儿庄战役胜利了。台儿庄会战，在李宗仁的亲自指挥下，击溃日军第5、第10两个精锐师团的主力，歼灭日军2万余人，缴获大批武器、弹药，严重地挫伤了日军的气焰，是国民党战场在抗战初期取得的一次大胜利。振奋了全民族的抗战精神，坚定了国人抗战胜利的信念。台儿庄当面的敌人，于六日晚被中国军队的总攻击所夹击。……此次战斗敌伤亡2万多人，掳获步枪1万多枝，重机枪931挺，步兵炮77门，战车40辆，大炮50多门……