八路軍一一五師「分家」，主力南下，時任師政委的聶榮臻奉命留守五台山地區和組建晉察冀軍區。
在早期中共黨內軍事幹部奇缺，聶榮臻是最早的一批軍事幹部，當他在蘇聯的中國班接受軍事訓練時，就已經是班上的黨支部書記，同班的葉挺是經他介紹入的黨。
聶榮臻長期任職於中央軍委，經手過朱德、陳毅、劉伯承、鄧小平、林彪等人的工作分配，還先後參與策動了南昌起義、廣州起義，在黨內的資歷相當深厚。
1931年，他在上海任中央軍委秘書長期間，接到了毛澤東關於根據地建設問題的報告，曾組織中央軍委專門討論過這個問題。後來他從上海進入中央蘇區，對建立根據地又有了更深更直接的體會。也正是考慮到他具備這方面的能力和經驗，中央才會把獨立開闢敵後根據地的重任交付給他。
聶榮臻組建晉察冀軍區的第二天，太原失守，晉察冀完全孤懸敵後，整個地區也隨之陷入了極為混亂的狀態。除了五台、盂縣外，其餘縣政權全部瓦解，在城鎮裡已很難看到年輕人，所見到的多為上了歲數，無力逃往他鄉的老人。與此同時，許多縣城裡都籠罩著死氣沉沉的氛圍，經歷兵燹（xiǎn）之後的荒涼景象觸目驚心，令人不忍目睹。
時值深秋，五台山區的天氣一天冷似一天，有時還大雪紛飛。由於給養不易籌措，許多指戰員還穿著單衣，腳上仍赤腳套著草鞋，手足都被凍得裂開了。另一個困難就是兵力單薄。晉察冀地域廣闊，需要很多人手，可是留守人員不過三千，而且幹部奇缺。有人開玩笑說，要問軍區司令部人有多少，一盆菜就夠吃了，一鋪炕就夠睡了。
晉察冀軍區的暫住地就是五台山寺廟。五台山那時有三百多座廟宇，廟宇一般都很大，一座廟裡住上幾百個人不成問題。眼看山巒上已經覆蓋著厚厚的積雪，聶榮臻和司令部的幹部們白天出去活動，晚上也仍然圍著火盆，用小油燈照著地圖，反反覆覆地研究著走出困境的辦法。
從以往經驗來看，要創建根據地，必須首先發展武裝，沒有武裝，一切都談不上。聶榮臻認識到，軍區兵力太少，是最大的問題，他決定用「滾雪球」的辦法來發展武裝。
軍區成立前後，楊成武等人分別在晉察冀的四個不同地域組織起了武裝，聶榮臻便以這四大塊為基礎，建立起了隸屬於軍區的四個軍分區。各個軍分區不僅有各自控制的地域，而且還有向縱深發展的活動範圍，「滾雪球就先這樣滾」。
兵力不足，可以靠擴大武裝「滾雪球」解決，要緩解物資困難的狀況，就必須依賴地方政府的組織發動。抗戰初期，中共在山西建立了名為「犧牲救國同盟會」（簡稱「犧盟會」）的統戰組織。七七事變後，閻錫山搞所謂「政治革新」，從「犧盟會」選了一些年輕人到各縣當縣長，五台縣縣長宋劭文就是「犧盟會」成員。隨著太原淪陷，宋劭文又被閻錫山授權「全權處理晉東北事務」。聶榮臻把宋劭文請來商量，通過地方政府出面，幫助籌措部隊給養。
經過一段時間的努力，擺到聶榮臻案頭的已不再是令人憂心的報告，而是各地打開局面的捷報。與之相應，儘快建立邊區政府的問題也就被提上了日程。
聶榮臻和宋劭文多次商量，要從根本上穩定社會秩序，以及確保部隊的擴充、吃飯、穿衣，沒有一個統一的抗日政府不行。知道宋劭文跟閻錫山能說得上話，聶榮臻就讓他出面，向閻錫山要求批准成立邊區臨時政府。
誰知宋劭文連著打了七份電報，閻錫山都不予通過，說：「我只管一個晉，怎麼能批冀，還有察？」
閻錫山其實是有權批覆的，但他給出的這個理由也讓人無可奈何。宋劭文非常著急，卻又不知道問題到底出在什麼地方。
盂縣縣長胡仁奎也是地下黨員，他從盂縣趕來看望宋劭文，宋劭文向他說起了這件事。胡仁奎問電報是怎麼寫的，宋劭文說他寫的意思大致是如果成立邊區政府，將對抗日怎樣怎樣有利。
胡仁奎聽後笑著搖了搖頭：「怪不得閻錫山不答覆，他對這一套不感興趣，你那樣寫不行！」
胡仁奎對閻錫山的心思摸得很準，他的話令宋劭文茅塞頓開。按照胡仁奎的點撥，宋劭文重新修改了電報，大講只要成立了邊區政府，就可以擴大山西地盤，把勢力擴展到察哈爾和河北省去。他還提到，山西方面的人在邊區委員中占到了多一半，實際情況也確實如此，包括宋劭文、胡仁奎在內，邊區九個委員里有五個都是山西籍。
閻錫山收到電報後果然動了心。正好「犧盟會」負責人薄一波到他那裡去，見狀又進一步加以鼓動，說對這份文件應該馬上予以批覆，「不批准是失策」。
閻錫山很快復電宋劭文，表示同意成立邊區政府，並說已電告國民黨中央政府備案。
貨幣戰爭
聶榮臻是一個偏內向性格的人。有的人初次接觸聶榮臻，覺得他沉默寡言，好像難以接近，但第二次見面，經過深談，就會發現他並不是一個不好相處的人，實際上他只是說話做事都特別穩重而已。
就實質上來講，聶榮臻是晉察冀黨政軍三方面總的領導人，但自邊區政府成立後，他對行政事務始終注意不包辦代替。邊區政府一直由宋劭文、胡仁奎等人出面主持，他從不隨隨便便插手或做決定，只在碰到重大問題時才會發表意見。
宋劭文、胡仁奎等人都是山西的行政和理財專家，聶榮臻對他們的信任和重用，也成為晉察冀根據地搞得成功的一個重要因素，這其中最為出彩的就是「貨幣戰爭」。
民國時的貨幣極為紊亂，在晉察冀地區，這種情況更為嚴重，察哈爾票（察票）、河北省票（河北票）都曾在當地流通。抗戰之初，察哈爾省銀行即被日軍占領和控制，如果讓察票繼續在邊區流通，對抗戰是極為不利的。邊區政府於是先將察票貶值一半，繼而又規定農民在限期內可以用交納察票來完成田賦，最終用這兩種辦法成功地將察票擠出了邊區。
察票之外還有河北票。抗戰爆發後，日軍在天津獲得了河北票的底板，便來了個大肆印發。邊區政府決意把河北票也擠出去，這次採取的辦法叫作「坡度貶值」，系以邊區政府為中心對其進行貶值。打個比方，票面一元的河北票在邊區首府阜平要打對摺，即只值五角錢，離遠一點就值六角，以後越靠近敵占區越值錢。如此一來，原來在邊區流通的河北票就像長著翅膀一樣地一個個飛回了敵占區。
察票、河北票等貨幣被擠出後，原本由它們占據的市場被騰了出來，由邊區銀行發行的邊幣所代替。值得一提的是，雖然抗戰時通貨膨脹的現象很普遍，但邊幣從未有過這種惡性症狀，也因此擁有非常高的信譽，連敵占區老百姓買賣時都喜歡收邊幣。
在聶榮臻的領導下，晉察冀根據地越來越鞏固，名聲也越傳越廣。在抗大分校任政委的傅崇碧第一次隨抗大來到晉察冀，就碰上了趕集市。趕集的人成千上萬，熙熙攘攘很是熱鬧，而且集市上吃的、穿的、用的，什麼都有。
晉察冀根據地不僅經濟上能夠做到自給自足，文化生活也很豐富。根據地有個「抗敵劇社」，裡面有許多城市來的文藝骨幹，八路軍里有不少老紅軍出身的團以上幹部都是單身漢，變著法地想和劇社的女演員套近乎。聶榮臻明確開出禁令，誰都不准到劇社找對象，即便符合婚姻戀愛條件也不行：「劇社的女演員太少，培養一個女演員不容易，都找跑了，生兒育女改行去了，她的藝術生命終止了不說，劇社還怎麼演出？」
聶榮臻同時規定，劇社裡凡是有文藝才華，做出過貢獻的人員要調動，都須經過他親自批准。軍區政治部把劇社社長汪洋調去冀東，忘了向聶榮臻報告，聶榮臻知道後下令立即追回。接到命令的人騎著快馬，滿頭大汗地追上了汪洋，心急火燎地喊道：「聶司令員不同意你調走，趕快回去換人！」
晉察冀的各種文藝演出、文娛活動都非常活躍，湧現出了許多聞名全軍乃至全國的藝術家。到快過年的時候，鄉村里到處可以看到跳秧歌舞、踩高蹺和唱戲的人們。這是傅崇碧來晉察冀之前沒有想到的，因為「在敵後根據地，文化生活開展得這麼好，的確不多見」。
晉察冀還辦有好幾種報紙，即便是「反掃蕩」期間，發行也不中斷。得知日軍要來「掃蕩」了，報社人員便用牲口馱著印刷機，走到哪裡就在哪裡印報紙，然後再通過民兵把報紙分送出去。傅崇碧在晉察冀期間，「天天都有報紙看」。
最讓傅崇碧感到驚訝的是，晉察冀雖處於華北日軍的腹心地區，經常要面臨日軍的「掃蕩」，但當地老百姓卻沒有一點害怕的樣子。敵人或敵機一來，就有放哨的人敲鐘，聽到鐘聲，人們便極有秩序地分散、隱蔽起來，其餘時間，「完全像是生活在一個和平、安全的環境中」。
在一次反「掃蕩」中，晉察冀部隊繳獲了一份日軍文件，上面寫道：「晉察冀的組織是神秘微妙、不可理解的組織，老百姓可以隨便用眼色或手勢傳達八路軍要知道的消息，速度比電話還要快。」