反击，经数日激战，连克亭子头、大太平、申家太平、徐家太平、沙子岭等多处敌据点。3月16日，日军向第59军石家屯东南至大安子、崖头、刘家湖、钓鱼台之线阵地反扑，敌机狂轰滥炸，第59军第38师伤亡虽重，仍然坚守阵地。
18日，第59军与第3军团从东、南、西3面夹击汤头、王疃、傅家池附近日军，经过3干激战，先后攻克李家五湖、辇沂庄、车庄，日军被击退，向官具逃窜，中国军队取得临沂第一次胜利。这次战斗，张、庞两军共伤亡3000余人，日军亦伤亡约3000人。
3月20日，第59军主力奉命调费县方面作战，日军第5师增援到达后，于23日再向临沂发动猛攻，庞炳勋部守军伤亡甚重，形势危急，第5战区又令第59军星夜驰援临沂，3月24日，该军赶回临沂西北向日军侧背发起进攻，并派出一部增援庞部确保临沂。敌凭借优良装备，全力反扑。第59军奋战至29日，敌损失惨重。张自忠下令全线出击，日军被迫撤退。中国军队取得临沂第二次胜利。临沂保卫战的胜利，使日军第5、第10师会师企图失败，为尔后台儿庄歼敌奠定了有利基础。
另一路日军华北方面军第2集团军之第10师沿津浦路南下。津浦路北段保卫战，原由中国军队第5战区副司令长官兼第3集团军总司令韩复榘指挥。由于韩不战而逃，致使日军长驱直入。
25日，日军进占周村。 27日占领济南。
1938年1月1日，矶谷廉介所部第10师占领泰安。1月上旬，韩复榘所部放弃大汶口、济宁，退至曹县、城武（今成武）、单县一带，使北段津浦路正面大门被打开，日军沿铁路线向南推进。韩复榘擅自撤退，被判处死刑，改任孙桐萱（原韩部所辖第12军军长）为第3集团军总司令。
2月10日，李宗仁为确保徐州地区安全，令孙桐萱部向运河以东推进，袭取济宁。2月14日，第22师渡运河，攀登入城，与济宁城内日军展开巷战。敌我短兵相接，由于日军大批增援，该师伤亡甚重，17日晚撤至运河西岸。
19日，日军攻陷安居镇，22日，突破曹福林之第55军阵地。24日，日军猛攻第12军阵地、25日进占杏花村阵地。中国守军向新泰、蒙阴发动反击，收复蒙阴。第3集团军与日军激战，歼敌1000余人，该集团军也伤亡3000余人，钳制了日军第10师一个旅，支持了津浦路正面的作战。
二、台儿庄大捷
台儿庄位于徐州东北30公里的大运河北岸，临城至赵墩的铁路支线上，北连津浦路，南接陇海线，扼守运河的咽喉，是徐州的门户。3月上旬，日军第2集团军向参谋部申请增加兵力，追击当面之敌，得到批准。第2集团军即指示第10师向滕县进攻。又令第5师从临沂向峰县推进，配合第10师作战。第10师以第33旅为基干组成濑谷支队，于3月14日开始由邹县以南之两下店沿津浦路南下，当日攻占界河，并迂回守军第22集团军之侧背。
15日到达滕县，16日向滕县发动进攻，揭开了台儿庄战役的序幕。
中国军队第5战区孙震第22集团军命令所属第41军第122师拼死防守滕县。17日，日军向滕县发动猛烈进攻，当日下午攻入西城。守军与敌展开激烈巷战，伤亡甚重，第122师师长王铭章殉国。
18日滕县、临城陷落。
20日韩庄、峄县失守。
中国第5战区为确保台儿庄阵地，以保卫徐州，进行了部署调整。令孙连仲的第之集团军的3个师扼守台儿庄正面阵地；令汤恩伯的第20军团以一部担任台儿庄至韩庄间运河南岸防务，以两个军向峄县（今晖城）、枣庄日军侧背攻击，准备配合孙连仲部围歼敌人。3月24日，蒋介石到徐州视察。同时派副参谋总长白崇禧、军令部次长林蔚、第一厅（作战厅）厅长刘斐等组织临时参谋团，于徐州协助李宗仁指挥作战。
白崇禧离武汉赴徐州前，特邀周恩来和叶剑英到其寓所，商讨对敌作战方针。周恩来对白说：在津浦线南段，已令新四军第4支队协同李品仙、廖磊两集团军，采取以运动战为主、游击战为辅的联合行动，运动于辽阔的淮河流域，使津浦线南段的日军，时刻受到威胁，不敢贸然北上支援南下日军。在徐州以北应采取阵地战与运动战相结合的方针，守点打援，以达到各个击破的目的。白崇禧对此建议，深加赞赏。[程思远：《政坛回忆》，广西人民出版社，1986年版，第116页。]
此后，周恩来又派张爱萍以八路军代表的名义去徐州见李宗仁，劝李在济南以南、徐州以北抵抗日军，同日军打一仗。张爱萍到徐州向李宗仁讲了几条：
一是日本侵略军占济南后南下，孤军深入，骄兵必败；
二是济南以南徐州以北的地形很好，台儿庄一带都是山区，对我有利；
三是广西军队是有战斗力的，北边有八路军在战略上配合，集中兵力打一个大仗，可以给日军一次沉重的打击。
李表示这个意见很好，并要张转告周恩来。[中共中央文献研究室：《周恩来传》，人民出版社，1989年版，第411页。]
3月24日，日军濑谷支队在航空火力支援下，向台儿庄猛攻，与中国守军第2集团军第31师展开激战。日军一部突入东北角，被守军击退。日军不断增加兵力，配以坦克、重炮实施攻击。
27日濑谷支队主力一部突入北门，第31师与敌展开了拉锯战，守军伤亡甚重。
28日，突入台儿庄之日军，被守军第31师围攻，损失甚重。29日，中国守军第20军团奉命以一部于30日对峄县佯攻，以钳制该敌南下，另以一部速向泥沟前进，协助第2集团军解决台儿庄附近之敌，并极力破坏铁路、公路，遮断峄县与台儿庄之联络，并与进攻峄县之友军部队竭力阻止峄县南下之敌。
当日，中国军队第2集团军之第27师继续对日军展开进攻；第31师对台儿庄内之日军攻击；第30师分向南洛、三里庄前进，截断日军联络，阻止日军增援。蒋介石也在此日下达了死守台儿庄的命令。李宗仁遂令第2集团军死守台儿庄阵地，并再次严令汤恩伯部南下，协助第2集团军解决台儿庄之敌。
3月30日，日军濑谷旅长鉴于福荣团在台儿庄被中国军队南北围攻，急令赤峰团驰援，濑谷亦亲自赶赴前线督战，全力对台儿庄守军展开激战。31日，中国军队将进入台儿庄之敌完全包围。正当濑谷支队处于危急之时，日军第2集团军令攻击临沂的坑本支队于29日停止攻击，转向台儿庄驰援，该支队31日到达向城、爱曲地区，侧击第20军团。第20军团遂即命第52军和刚到的第57军一道围攻坂本支队，经数日激战，予日军以重创，使坂本支队救援濑谷支队的计划落空，据日军《步兵第10团战斗详报》记载，台儿庄中国守军“决死奋战之状历历在目”，“士兵依靠堑壕顽强抵抗直到最后”，堑壕中尸山血河，“睹其壮烈者亦为之感叹”。[［日］防卫厅防卫研究所战史室：《中国事变陆军作战》（2）.朝云新闻社，1976年版，第36页。]
4月3日，中国军队向台儿庄之日军发起攻击。日军拼力争夺，占领了市街大部。守军逐次反击，展开街垒战，夺回被日军占据的市街。双方陷于苦战。5日，蒋介石电汤恩伯：“台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六、七两日奋勉图功歼灭此敌，毋负厚望。”[中国第二历史档案馆：《抗日战争正面战场》上，江苏古籍出版社，1987年版，第608页。]
6日晚，中国军队全线攻击，第2集团军和第20军团围歼被围之懒谷支队。
战至7日凌晨，除一部日军突围至峄具附近固守待援外，将被围之敌全部歼灭。
台儿庄战役是中国军队取得的一次重大胜利。在历时半个多月的激战中，中国军队付出了巨大牺牲，参战部队4.6万人，伤亡失踪7500人，歼灭日军1万余人。它沉重打击了日本侵略者的凶焰，极大地鼓舞了全国军民坚持抗战的必胜信心。
三、徐州外围战及中国军队撤退
台儿庄战役中，日军大本营发现中国在徐州地区集结重兵集团，认为是给中国军队主力一大打击、挫伤中国军民抗战意志的好机会。
4月7日，日军大本营陆军部制订《徐州附近作战指导要领案》，决定华北方面军以第5、第10、第14、第16师共4个师，向陇海沿线进攻，封锁兰封（今兰考）以东地区，切断中国军队退路，以主力南下进攻徐州，以1个师从兰封向商丘方向进攻，切断中国军队退路；命华中派遣军以第9、第13两个师从南面策应华北方面军作战。企图一举消灭中国军队主力，并占领徐州要地和津浦铁路全线。
为协调华北、华中日军的军事行动，4月中旬，日军大本营还派出以参谋部作战部部长桥本群少将为首的“大本营派遣班”到中国，进行协调和联络，指导南、北两兵团作战。
台儿庄大捷后，蒋介石决定“扩大台儿庄战果”，遂将各战区精锐部队大批调往徐州，准备在徐州地区同日军进行决战，使第5战区的总兵力由初期的29个师增加到64个师另3个旅，约45万人。李宗仁将第5战区军队编为5个兵团：3个军组成淮南兵团，由李品仙任司令；4个军组成淮北兵团，由廖磊任司令；9个军组成鲁南兵团，由孙连仲任司令；3个军组成陇海兵团，由汤恩伯任司令；2个军组成苏北兵团，由韩德勤任司令。各兵团以徐州为中心，分别阻击日军。
5月中旬，日军开始进攻徐州。在徐州北战场，5月12日，日本华北方面军第1集团军第14师从濮县地区南渡黄河，以一部到内黄集附近，截断了陇海铁路交通线。5月9日，日军第16师从山东济宁南下，向砀山、唐寨地区疾进，从西面攻击徐州。5月15日，日军第5师在鲁南同中国军队激战数日后，渡运河，向宿县推进，尔后进攻徐州。在徐州南战场，5月5日，日军华中派遣军开始北进。5月9日，第13师攻占安徽蒙城，13日到达徐州西南的永城，从西南面包围徐州。5月10日，日军第9师北上，经蒙城、永城向徐州西南地区进攻，16日进入萧具附近地区，逼近徐州。从南京附近参战的日军第3师也随之沿津浦铁路急速北进，5月15日陷大营集之后，即在第9师右翼支队配合下向徐州推进。至此，南北两路日军完成了对徐州地区的包围。
中国第5战区部队在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势。中国军队第23师师长李必蕃率部在鲁西菏泽战斗中，壮烈牺牲。中国军队第173师副师长周元率2000官兵在皖北蒙城防御日军进攻，拼死激战，周元和大部分官兵壮烈牺牲。在徐州处于日军四面台围的险恶形势下，为了保存有生力量。国民政府军事委员会于5月15日决定放弃徐州。
16日，第5战区下达撤退命令，以刘汝明的第68军于徐州掩护撤退，以第24集团军留苏北，第69军及海军陆战队在鲁南、鲁中进行游击作战，主力分5路向徐州西南方向突围。各路大军突破日军的封锁线，撤向豫、皖之间山区。第68军在掩护各部撤退完毕之后，于5月19日放弃徐州。至21日，徐州地区中国守军突破日军的包围，向皖北和豫南转移。
在第5战区部队突围之时，日军乘机占领了徐州及其附近地区。徐州失陷后，日军大本营又决定“扩大徐州会战战果”，进行追击作战。5月21日，日军大本营下令进攻兰封、归德（商丘）、永城、蒙城以东地区。29日，又下令越过兰封、归德、永城、蒙城地区。按照日军大本营的命令，日军分兵数路，沿陇海路两侧向西追击。5月22日，日军第10师开始西进，相继攻占毫县、拓城，6月5日到达太康。5月21日，日军第16师从徐州附近出发，相继攻占砀山、马牧集，5月21日到达归德。归德守军顽强抵抗两天后撤退。
日军占领归德、杞具、通许、尉氏、朱仙镇。日军第14师于5月17日到达内黄集，准备进攻兰封。驻守鲁西南的中国第1战区薛岳兵团，为掩护第5战区部队突围，在兰封地区发动反击，与日军第14师激战。日军第14师于5月24日攻占兰封，遭中国军队包围，激战至30日，中国守军退却。此时，日本华北方面军企图攻占郑县，然后沿平汉线南下进攻武汉，遂下令第10师向郑县推进。6月6日，日军第14师攻陷开封，7日又陷中牟，10日，该师骑兵团到达新郑南郊，炸毁了平汉铁路，12日炸毁了新郑南面的平汉线铁路桥。切断了平汉铁路线，郑县告急。
为阻止日军进攻，经蒋介石批准，国民党军竟于6月9日炸开郑州东北的花园口大堤，滔滔黄河水经中牟向东南方向奔泻而去，平汉线以东中牟、尉氏、扶沟一线，直到安徽、江苏，成为一片汪洋。6月12日之后，日军第14、第16师遭受洪水泛滥的威胁，乃组织向东撤退。花园口决堤虽暂时阻挡了日军的继续西进，但是造成黄河改道，使豫、皖、苏3省40多个县市的广大地区沦为泽国，近90万人葬身洪流，上千万人流离失所，并形成了连年灾荒的黄泛区。如此“以
18日，第59军与第3军团从东、南、西3面夹击汤头、王疃、傅家池附近日军，经过3干激战，先后攻克李家五湖、辇沂庄、车庄，日军被击退，向官具逃窜，中国军队取得临沂第一次胜利。这次战斗，张、庞两军共伤亡3000余人，日军亦伤亡约3000人。
3月20日，第59军主力奉命调费县方面作战，日军第5师增援到达后，于23日再向临沂发动猛攻，庞炳勋部守军伤亡甚重，形势危急，第5战区又令第59军星夜驰援临沂，3月24日，该军赶回临沂西北向日军侧背发起进攻，并派出一部增援庞部确保临沂。敌凭借优良装备，全力反扑。第59军奋战至29日，敌损失惨重。张自忠下令全线出击，日军被迫撤退。中国军队取得临沂第二次胜利。临沂保卫战的胜利，使日军第5、第10师会师企图失败，为尔后台儿庄歼敌奠定了有利基础。
另一路日军华北方面军第2集团军之第10师沿津浦路南下。津浦路北段保卫战，原由中国军队第5战区副司令长官兼第3集团军总司令韩复榘指挥。由于韩不战而逃，致使日军长驱直入。
25日，日军进占周村。 27日占领济南。
1938年1月1日，矶谷廉介所部第10师占领泰安。1月上旬，韩复榘所部放弃大汶口、济宁，退至曹县、城武（今成武）、单县一带，使北段津浦路正面大门被打开，日军沿铁路线向南推进。韩复榘擅自撤退，被判处死刑，改任孙桐萱（原韩部所辖第12军军长）为第3集团军总司令。
2月10日，李宗仁为确保徐州地区安全，令孙桐萱部向运河以东推进，袭取济宁。2月14日，第22师渡运河，攀登入城，与济宁城内日军展开巷战。敌我短兵相接，由于日军大批增援，该师伤亡甚重，17日晚撤至运河西岸。
19日，日军攻陷安居镇，22日，突破曹福林之第55军阵地。24日，日军猛攻第12军阵地、25日进占杏花村阵地。中国守军向新泰、蒙阴发动反击，收复蒙阴。第3集团军与日军激战，歼敌1000余人，该集团军也伤亡3000余人，钳制了日军第10师一个旅，支持了津浦路正面的作战。
二、台儿庄大捷
台儿庄位于徐州东北30公里的大运河北岸，临城至赵墩的铁路支线上，北连津浦路，南接陇海线，扼守运河的咽喉，是徐州的门户。3月上旬，日军第2集团军向参谋部申请增加兵力，追击当面之敌，得到批准。第2集团军即指示第10师向滕县进攻。又令第5师从临沂向峰县推进，配合第10师作战。第10师以第33旅为基干组成濑谷支队，于3月14日开始由邹县以南之两下店沿津浦路南下，当日攻占界河，并迂回守军第22集团军之侧背。
15日到达滕县，16日向滕县发动进攻，揭开了台儿庄战役的序幕。
中国军队第5战区孙震第22集团军命令所属第41军第122师拼死防守滕县。17日，日军向滕县发动猛烈进攻，当日下午攻入西城。守军与敌展开激烈巷战，伤亡甚重，第122师师长王铭章殉国。
18日滕县、临城陷落。
20日韩庄、峄县失守。
中国第5战区为确保台儿庄阵地，以保卫徐州，进行了部署调整。令孙连仲的第之集团军的3个师扼守台儿庄正面阵地；令汤恩伯的第20军团以一部担任台儿庄至韩庄间运河南岸防务，以两个军向峄县（今晖城）、枣庄日军侧背攻击，准备配合孙连仲部围歼敌人。3月24日，蒋介石到徐州视察。同时派副参谋总长白崇禧、军令部次长林蔚、第一厅（作战厅）厅长刘斐等组织临时参谋团，于徐州协助李宗仁指挥作战。
白崇禧离武汉赴徐州前，特邀周恩来和叶剑英到其寓所，商讨对敌作战方针。周恩来对白说：在津浦线南段，已令新四军第4支队协同李品仙、廖磊两集团军，采取以运动战为主、游击战为辅的联合行动，运动于辽阔的淮河流域，使津浦线南段的日军，时刻受到威胁，不敢贸然北上支援南下日军。在徐州以北应采取阵地战与运动战相结合的方针，守点打援，以达到各个击破的目的。白崇禧对此建议，深加赞赏。[程思远：《政坛回忆》，广西人民出版社，1986年版，第116页。]
此后，周恩来又派张爱萍以八路军代表的名义去徐州见李宗仁，劝李在济南以南、徐州以北抵抗日军，同日军打一仗。张爱萍到徐州向李宗仁讲了几条：
一是日本侵略军占济南后南下，孤军深入，骄兵必败；
二是济南以南徐州以北的地形很好，台儿庄一带都是山区，对我有利；
三是广西军队是有战斗力的，北边有八路军在战略上配合，集中兵力打一个大仗，可以给日军一次沉重的打击。
李表示这个意见很好，并要张转告周恩来。[中共中央文献研究室：《周恩来传》，人民出版社，1989年版，第411页。]
3月24日，日军濑谷支队在航空火力支援下，向台儿庄猛攻，与中国守军第2集团军第31师展开激战。日军一部突入东北角，被守军击退。日军不断增加兵力，配以坦克、重炮实施攻击。
27日濑谷支队主力一部突入北门，第31师与敌展开了拉锯战，守军伤亡甚重。
28日，突入台儿庄之日军，被守军第31师围攻，损失甚重。29日，中国守军第20军团奉命以一部于30日对峄县佯攻，以钳制该敌南下，另以一部速向泥沟前进，协助第2集团军解决台儿庄附近之敌，并极力破坏铁路、公路，遮断峄县与台儿庄之联络，并与进攻峄县之友军部队竭力阻止峄县南下之敌。
当日，中国军队第2集团军之第27师继续对日军展开进攻；第31师对台儿庄内之日军攻击；第30师分向南洛、三里庄前进，截断日军联络，阻止日军增援。蒋介石也在此日下达了死守台儿庄的命令。李宗仁遂令第2集团军死守台儿庄阵地，并再次严令汤恩伯部南下，协助第2集团军解决台儿庄之敌。
3月30日，日军濑谷旅长鉴于福荣团在台儿庄被中国军队南北围攻，急令赤峰团驰援，濑谷亦亲自赶赴前线督战，全力对台儿庄守军展开激战。31日，中国军队将进入台儿庄之敌完全包围。正当濑谷支队处于危急之时，日军第2集团军令攻击临沂的坑本支队于29日停止攻击，转向台儿庄驰援，该支队31日到达向城、爱曲地区，侧击第20军团。第20军团遂即命第52军和刚到的第57军一道围攻坂本支队，经数日激战，予日军以重创，使坂本支队救援濑谷支队的计划落空，据日军《步兵第10团战斗详报》记载，台儿庄中国守军“决死奋战之状历历在目”，“士兵依靠堑壕顽强抵抗直到最后”，堑壕中尸山血河，“睹其壮烈者亦为之感叹”。[［日］防卫厅防卫研究所战史室：《中国事变陆军作战》（2）.朝云新闻社，1976年版，第36页。]
4月3日，中国军队向台儿庄之日军发起攻击。日军拼力争夺，占领了市街大部。守军逐次反击，展开街垒战，夺回被日军占据的市街。双方陷于苦战。5日，蒋介石电汤恩伯：“台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六、七两日奋勉图功歼灭此敌，毋负厚望。”[中国第二历史档案馆：《抗日战争正面战场》上，江苏古籍出版社，1987年版，第608页。]
6日晚，中国军队全线攻击，第2集团军和第20军团围歼被围之懒谷支队。
战至7日凌晨，除一部日军突围至峄具附近固守待援外，将被围之敌全部歼灭。
台儿庄战役是中国军队取得的一次重大胜利。在历时半个多月的激战中，中国军队付出了巨大牺牲，参战部队4.6万人，伤亡失踪7500人，歼灭日军1万余人。它沉重打击了日本侵略者的凶焰，极大地鼓舞了全国军民坚持抗战的必胜信心。
三、徐州外围战及中国军队撤退
台儿庄战役中，日军大本营发现中国在徐州地区集结重兵集团，认为是给中国军队主力一大打击、挫伤中国军民抗战意志的好机会。
4月7日，日军大本营陆军部制订《徐州附近作战指导要领案》，决定华北方面军以第5、第10、第14、第16师共4个师，向陇海沿线进攻，封锁兰封（今兰考）以东地区，切断中国军队退路，以主力南下进攻徐州，以1个师从兰封向商丘方向进攻，切断中国军队退路；命华中派遣军以第9、第13两个师从南面策应华北方面军作战。企图一举消灭中国军队主力，并占领徐州要地和津浦铁路全线。
为协调华北、华中日军的军事行动，4月中旬，日军大本营还派出以参谋部作战部部长桥本群少将为首的“大本营派遣班”到中国，进行协调和联络，指导南、北两兵团作战。
台儿庄大捷后，蒋介石决定“扩大台儿庄战果”，遂将各战区精锐部队大批调往徐州，准备在徐州地区同日军进行决战，使第5战区的总兵力由初期的29个师增加到64个师另3个旅，约45万人。李宗仁将第5战区军队编为5个兵团：3个军组成淮南兵团，由李品仙任司令；4个军组成淮北兵团，由廖磊任司令；9个军组成鲁南兵团，由孙连仲任司令；3个军组成陇海兵团，由汤恩伯任司令；2个军组成苏北兵团，由韩德勤任司令。各兵团以徐州为中心，分别阻击日军。
5月中旬，日军开始进攻徐州。在徐州北战场，5月12日，日本华北方面军第1集团军第14师从濮县地区南渡黄河，以一部到内黄集附近，截断了陇海铁路交通线。5月9日，日军第16师从山东济宁南下，向砀山、唐寨地区疾进，从西面攻击徐州。5月15日，日军第5师在鲁南同中国军队激战数日后，渡运河，向宿县推进，尔后进攻徐州。在徐州南战场，5月5日，日军华中派遣军开始北进。5月9日，第13师攻占安徽蒙城，13日到达徐州西南的永城，从西南面包围徐州。5月10日，日军第9师北上，经蒙城、永城向徐州西南地区进攻，16日进入萧具附近地区，逼近徐州。从南京附近参战的日军第3师也随之沿津浦铁路急速北进，5月15日陷大营集之后，即在第9师右翼支队配合下向徐州推进。至此，南北两路日军完成了对徐州地区的包围。
中国第5战区部队在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势。中国军队第23师师长李必蕃率部在鲁西菏泽战斗中，壮烈牺牲。中国军队第173师副师长周元率2000官兵在皖北蒙城防御日军进攻，拼死激战，周元和大部分官兵壮烈牺牲。在徐州处于日军四面台围的险恶形势下，为了保存有生力量。国民政府军事委员会于5月15日决定放弃徐州。
16日，第5战区下达撤退命令，以刘汝明的第68军于徐州掩护撤退，以第24集团军留苏北，第69军及海军陆战队在鲁南、鲁中进行游击作战，主力分5路向徐州西南方向突围。各路大军突破日军的封锁线，撤向豫、皖之间山区。第68军在掩护各部撤退完毕之后，于5月19日放弃徐州。至21日，徐州地区中国守军突破日军的包围，向皖北和豫南转移。
在第5战区部队突围之时，日军乘机占领了徐州及其附近地区。徐州失陷后，日军大本营又决定“扩大徐州会战战果”，进行追击作战。5月21日，日军大本营下令进攻兰封、归德（商丘）、永城、蒙城以东地区。29日，又下令越过兰封、归德、永城、蒙城地区。按照日军大本营的命令，日军分兵数路，沿陇海路两侧向西追击。5月22日，日军第10师开始西进，相继攻占毫县、拓城，6月5日到达太康。5月21日，日军第16师从徐州附近出发，相继攻占砀山、马牧集，5月21日到达归德。归德守军顽强抵抗两天后撤退。
日军占领归德、杞具、通许、尉氏、朱仙镇。日军第14师于5月17日到达内黄集，准备进攻兰封。驻守鲁西南的中国第1战区薛岳兵团，为掩护第5战区部队突围，在兰封地区发动反击，与日军第14师激战。日军第14师于5月24日攻占兰封，遭中国军队包围，激战至30日，中国守军退却。此时，日本华北方面军企图攻占郑县，然后沿平汉线南下进攻武汉，遂下令第10师向郑县推进。6月6日，日军第14师攻陷开封，7日又陷中牟，10日，该师骑兵团到达新郑南郊，炸毁了平汉铁路，12日炸毁了新郑南面的平汉线铁路桥。切断了平汉铁路线，郑县告急。
为阻止日军进攻，经蒋介石批准，国民党军竟于6月9日炸开郑州东北的花园口大堤，滔滔黄河水经中牟向东南方向奔泻而去，平汉线以东中牟、尉氏、扶沟一线，直到安徽、江苏，成为一片汪洋。6月12日之后，日军第14、第16师遭受洪水泛滥的威胁，乃组织向东撤退。花园口决堤虽暂时阻挡了日军的继续西进，但是造成黄河改道，使豫、皖、苏3省40多个县市的广大地区沦为泽国，近90万人葬身洪流，上千万人流离失所，并形成了连年灾荒的黄泛区。如此“以