，經過一個多月的準備之後，日軍再次發動了大規模的進攻，日軍華北派遣軍和華中派遣軍，以南北夾擊之勢，對徐州方向發動了勐烈的攻勢。

1938年2月5日，華北方面軍下達在黃河以南、現佔領線以北進行平定作戰的命令。據此，華北方面軍第2軍2月17日命令第10師團“掃蕩”汶上、濟寧附近地區。同時命令在青島登陸的第五師團，向沂水方向進攻，以配合第10師團的攻勢。

在此之前，原山東省主席韓復榘，因為違抗命令，擅自撤退，導致山東失守等罪名被老蔣下令逮捕，並於1月24日被執行槍決，以此來堅定前線將士堅決抗戰之決心。

為確保徐州地區的安全，1938年2月6日第五戰區司令長官李宗仁將軍命孫桐萱部（原韓復榘的第3集團軍），向運河以東推進，襲擊濟寧、汶上的日軍據點，以牽制敵人主力；命令鄧錫侯（後由孫震代理）第22集團軍主力向鄒縣，一部迂迴曲阜、鄒縣間攻擊日軍，另一部控制在臨城、韓莊之間；命令龐炳勳第三軍團於臨沂附近在地方部隊配合下，奪取蒙陰、泗水，然後向泰安、大汶口間及南驛、曲阜間威脅日軍，並對日照、莒縣、沂水北方要點派一部兵力與海軍陸戰隊共同防守。孫桐萱部第22師於1938年2月12日晚由大長溝渡運河，14日晚有一小部攀登入濟寧城，雙方短兵相接，血戰數日，終因敵我雙方力量懸殊，入城部隊傷亡極大，17日晚撤至運河西岸。

與此同時，第12軍81師也直取汶上，於12日晚由開河鎮渡運河，一部由城西北攻入汶上城內，與日軍進行激烈巷戰，終因人少勢弱，損失嚴重，13日奉李宗仁之命撤向運河西岸。1938年2月17日，日軍第二軍指示第10師團擊退汶上、濟寧附近中**隊於運河以西；第五師團以一個支隊向沂水方向前進，配合第十師團作戰。第十師團組成長瀨支隊，於17日開始對濟寧方面中**隊反擊，19日，日軍攻陷安居鎮，22日突破曹福林第55軍陣地。25日，日軍突破杏花村陣地，26日越過運河佔領嘉祥。守軍被迫撤至相里集、羊山集、鉅野一線。但李宗仁在這一線佈置大量兵力，不斷側擊北段南下之敵，使敵軍在這一帶徘徊不能南進，暫時穩定了戰局。第五師團組成片野支隊，於23日佔領濰縣，接著該支隊編入坂本支隊繼續南進，並於3月5日佔領湯頭。

於此同時，南線淮南地區之日軍，也對中**隊防線發動了大規模的攻勢，至2月初，定遠、臨淮關、蚌埠等地相繼失守。

2月9日，日軍強渡淮河。中國守軍未能阻止敵軍渡河。中國第5戰區急調第27集團軍之第59軍及第21集團軍第7軍增援。2月10日，中**隊于學忠之第51軍所屬第114師在王莊陣地同日軍展開激烈爭奪，幾經血戰陣地失守，中**隊傷亡2000餘人。2月13日，張自忠率第59軍抵達淮河流域，在瓦疃集、姚集、固鎮、蒙城一線，接替第51軍戰鬥。於此同時，廖磊率第21集團軍到達合肥、舒城、八斗嶺、下塘集之線。中**隊以第51、59軍在淮河北岸節節抵抗；以韋雲淞之第48軍固守爐橋、洛河一線；劉士毅之第31軍和周祖晃之第7軍對日軍側背進行襲擊。2月11日，第31軍圍攻上窯，守軍沖人圩內與敵肉搏，敵300餘人向考城逃竄，日軍被殲100餘人。

1938年2月16日，周祖晃之第7軍由張橋鎮、老人倉一線向池河、定遠日軍展開側擊，並一度攻人桑家澗，日軍不得不抽調淮河地區主力6000餘人增援考城、上窯、他河、定遠。

當日軍回援淮南之時，張自忠之第59軍乘機向火神廟、新橋日軍反攻，敵退向曹老集。第59軍分向蘇集、湖口子、曹老集、王莊之線推進，將日軍驅逐至淝河南岸，並朝淮河北岸推進。日軍腹背受敵，