1937年夏，日軍發動了蓄謀已久的全面侵華戰爭。國共兩黨達6成協議，中國工農紅軍改編為中國國民革命軍第八路軍，南方8省游擊隊改編為中國國民革命軍新編第四軍。
8月20日，紅十五軍團奉命於陝西省三原縣橋底鎮改編為第八路軍一一五師三四四旅。下轄第六八七團（由原七十三師和七十八師一部編成）和第六八八團（由原七十五師和七十八師一部編成），原軍團騎兵團編為一一五師留守處。全旅6200餘人。改編後，三四四旅在徐海東旅長、黃克誠政委率領下，東渡黃河，立即開赴晉東北抗日前線。
9月25日，六八七團參加平型關戰役，激戰3晝夜，與兄弟部隊一起殲滅日軍坂垣師團第二十一旅團1000多人。此後，344旅又乘勝攻克靈丘、廣靈、繁峙、渾源、井陘、溫塘等城鎮，打擊了日軍的囂張氣焰，策應了國民黨軍隊的正面作戰。12月，我旅進軍冀西平山地區，廣泛發動群眾，開展敵後游擊戰爭，創建抗日根據地，並組建了第六八九團（由原紅二十六軍各部組成）。此時，全旅已發展到萬餘人。
1938 年2月，我旅奉命南下晉東南，在八路軍總部指揮下，於長樂村、張店、町店等地，連殲日軍數千人，有力地配合一二九師粉碎了敵對晉東南的九路圍攻。5月，我旅六八九團協同一二九師東進冀南，轉戰十餘縣。其中強襲威縣，威震敵膽。7月，朱德總司令親臨我旅宣講黨中央制定的「基本的是游擊戰，但不放鬆有利條件下的運動戰」的戰略方針，並指導我旅制定了貫徹上述戰略方針的具體措施。此後，我旅深入晉豫邊區，發動群眾，建立抗日民主政權，發展抗日游擊戰爭。在此期間，我旅相繼組建了獨立團、特務團，並在辛安集、賈河口、楚旺鎮、岔河、香城固等地大量殲滅日偽軍，粉碎了日軍對晉東南的分區掃蕩，鞏固和擴大了太行山根據地。
1939年2月，344旅在冀魯豫邊區組建了冀魯豫支隊。該支隊成立後，迅速出入隴海路南北，攻金鄉，克定陶，有力地打擊了日偽頑勢力，並在粉碎日軍萬餘兵力3次大「掃蕩」後，又連續打退了國民黨頑固派石友三數萬兵力的瘋狂進攻，開闢和鞏固了冀魯豫抗日根據地。
1940 年春，冀魯豫邊區由344旅組建和幫助發展的八路軍主力和地方部隊已達十幾個團。同年2月，344旅奉命擴編為八路軍第二縱隊。轄新編第一旅（轄一、二、三團）、新編第二旅（轄四、五、六團）、新編第三旅（轄七、八、九團）、第三四四旅（轄六八七、六八八、六八九團）及教導營。並統一指揮太行山南段地區的晉豫支隊、獨立游擊隊、山西決死第三縱隊及河北民軍第四團。全縱隊兵力達2.5 萬人。