從２６日起，中**隊以王仲廉的第三十一集團軍主力向密縣附近的日軍實施反擊，逼迫日軍改取守勢。激戰到３０日，日軍後續兵團竹下義晴的第二十七師團、山路秀男的戰車第三師團及藤田茂的騎兵第四旅團已集結在密縣和鄭州地區，迅速向禹縣、襄城和許昌等地猛攻，與李仙洲的第二十八集團軍和王仲廉集團軍展開激戰。５月１日，日軍攻陷許昌，並以山路師團和藤田旅團向襄城和郟縣突進。３日凌晨，日軍侵佔郟縣和禹縣，４日攻佔臨汝，６日再陷登封、寶豐和魯山，日軍先頭部隊進抵洛陽以南龍門附近。為了阻滯向龍門突進的日軍，第六戰區急調劉戡兵團進至龍門、伊川和嵩縣一帶，暫時穩定了戰局。

７日，從許昌南犯的日軍竹下師團攻佔郾城和漯河。同一天，從信陽北進的日軍獨立步兵第十一旅團攻佔遂平。８日，日軍南北會攻奪佔西平，打通了平漢鐵路。此後，日軍集中主力向洛陽進攻。

日軍的林芳師團、本卿師團、山路師團、藤田旅團和多賀旅團，分別從登封、禹縣、郟縣和寶豐地區，向龍門和洛陽實施包圍迂迴。同時，日軍三浦忠次郎的第六十九師團和小原一明的獨立混成第三旅團，從晉南垣曲南渡黃河，９日侵佔澠池，威脅洛陽側後，完成了對洛陽的三面包圍。

中國第一戰區調整部署，除仍以武庭麟的第十五軍及第九十四師固守洛陽外，令孫蔚如集團軍和劉戡兵團分別撤到洛陽西南的韓城和宜陽地區集結，準備側擊從澠池向洛陽和洛寧進犯的日軍。１３日，郾師和龍門的各路日軍會合在磁澗地區，向集結於洛陽外圍的第一戰區部隊攻擊，李家珏的第三十六集團軍等部便先後從澠池附近向西轉移，日軍隨即尾追，向西突進，於１７日進佔洛寧，１８日攻陷郟縣，２０日佔領盧氏。

這時，洛陽守軍已陷於孤軍苦戰。中**隊為挽救戰局，擊破日軍的攻勢，李宗仁第五戰區部隊和蔣鼎文第一戰區各兵團協同，對日軍實施反突擊，先後一度攻克遂平、魯山和嵩縣，進迫寶豐，截斷平漢線。西進日軍側背受到威脅，不再繼續向縱深進攻，便放棄盧氏，退守洛寧，將主力向東調動，鞏固已經佔領的地區。

５月１９日，日軍集中本卿師團、山路師團和藤田旅團等主力部隊開始向洛陽發動進攻，中國守軍頑強抗擊，使日軍攻擊受挫。２２日，日軍三次攻入洛陽城關，都被中國守軍趕出城外。２３日，日軍把進攻重點放在洛陽北面。在日軍的持續攻擊下，洛陽守軍傷亡慘重，第九十四師只剩下一千七百多人，但他們拒絕了日軍的勸降，堅守陣地。２４日下午１點，日軍向洛陽發動總攻擊，攻破洛陽東北角。洛陽守軍被迫於當晚１０點向洛陽東南突圍。２５日，洛陽失陷。

以洛陽被日軍佔領為標誌，歷時一個多月的豫中會戰結束。日軍在這次會戰中打通了平漢線，擊潰了蔣鼎文第一戰區主力，達到了作戰目的。第一戰區損兵折將達二十萬人之多，丟失三十八座城市，河南省幾乎全部淪陷。劉昌義軍第二十九師師長呂公良，該師第八十五團團長楊尚武，第八十七團團長李培芹，第八十六團營長鬍光耀，第八十七團營長何景和，以及第二十九師全體士兵，都在戰場上犧牲。

李家珏和他的集團軍總部副官處長周鼎銘以及步兵指揮官陳紹堂，也在戰鬥中遇難儘管中**隊在緬北和滇西捷報頻傳，但是中國內地的正面戰場上，戰況對中國非常不利。日軍“一號作戰”的第一階段，竟然在豫中會戰中出乎意料地順利，這是一個非常令人費解的現象。

東條英機在１９４４年３月，命令他的老上司畑俊六實施“打通大陸走廊”的計劃時，從偽滿和日本國內向中國大量增調兵力。日軍攻佔了約二百公里的黃河南岸，中國守軍付出了巨大代價，損失慘重。第一戰區司令長官蔣鼎文嚐到了“走麥城”的滋