解放大軍橫渡長江，解放京滬杭等地區後，蔣軍殘餘部隊，包括正規軍、地方部隊和後方機關等部在內，還有150萬人，分散在台灣、福州、東南沿海島嶼和中南、西南和西北的若干省份的廣大地區。蔣介石仍不甘心失敗，極力與美國勾結，企圖以台灣為基地，積極組織敗退到福建、中南以及西南、西北殘餘力量，負隅頑抗，等待時機，以便東山再起，捲土重來。於1949年6月20日，潰逃在廣州的國民黨政權，宣布封鎖被解放的沿海各港口，並轟炸已解放的各大城市，以阻礙和破壞解放區經濟恢復與發展。逃到台灣的蔣介石，在獲悉因蔣軍一敗再敗，美國深恐台灣不保，為了霸占這一太平洋上的軍事要地，極力主張將台灣移交盟國或以聯合國名義暫管的消息後，乃去電給國民黨駐日本東京代表團負責人就此事與美國的麥克阿瑟商談。據蔣經國6月20日日記記載：「（一）台灣移歸盟國或聯合國暫管之擬議，實際上為中國政府無法接受之辦法，因此種辦法，違反中國國民心理，尤與中正自開羅會議爭回台、澎之一貫努力與立場相反。（二）台灣很可能在短期內成反共力量之新的政治希望，因為台灣迄今無共產黨力量之滲入，而且其地理位置，使今後『政治防疫』工作亦較易徹底成功。（三）美國政府即令單從實際的利害考慮，亦決不能承認中共政權，因為承認中共，決不能化中共為狄托，亦不能範圍中共的行動。美國於1945年曾經拋棄在倫敦之波蘭合法政府，承認蘇聯所製造控制之波蘭政府，其結果只鞏固了波蘭政權，毀滅了波蘭反共力量。此事可為殷鑑。至於中國政府，無論在大陸與海島，皆有其廣大根據地，與中共持久作戰到底，絕不會成為類似倫敦波蘭政府之流亡政府，余敢斷言。（四）基於以上考慮，余及中國政府深盼麥帥本其在東亞盟國統帥之立場，以其對於赤禍與東亞前途之關係，極力主張兩事：甲、美國政府決不考慮承認中共政權，並應本其領導國際之地位與力量，防阻他國承認；乙、美國政府應採取積極態度，協助反共力量，並應協助我政府確保台灣使成為一種新的政治希望。」從這裡可以看出，美國已對蔣介石國民黨失去信心，深恐保不住它在太平洋上的軍事戰略要地；而蔣介石又深恐美國承認中國人民政府，像二戰後流亡在英國的波蘭政府領導人一樣，被美國「拋棄」，從而奴顏婢膝的向美國人一再確認能「確保台灣」。
為了迅速徹底地殲滅蔣介石集團的殘餘勢力，不給敵人以喘息機會，並防止美帝國主義可能的軍事干涉，中共中央軍委指示解放軍各野戰軍：按照預定的作戰計劃，繼續前進，殲滅蔣軍殘餘力量，使各帝國主義在中國大陸上完全喪失它們的走狗；要求在華北、華東部署必要兵力，以防美帝國主義可能的武裝干涉；並據此區分了各野戰軍向全國進軍的任務。第一野戰軍並指揮第十八、十九兵團完成解放西北五省的任務；第二野戰軍待沿海城市解放，美帝國主義出兵干涉的可能性減少時，即進軍西南，在第十八兵團的協同下，解放與經營川、黔、滇、康四省；第三野戰軍除主力位於京滬杭地區，準備對付美帝國主義的入侵外，以有力兵團進軍福建，完成解放華東大陸的任務，並建立攻取台灣的基地；第四野戰軍並指揮二野第四兵團，殲滅中南地區殘敵，解放中南全境，經營豫、鄂、湘、贛、粵、桂等省；第二十兵團開赴秦皇島、塘沽地區布防，防止美軍登陸。這時，解放軍已處絕對優勢，蔣軍處絕對劣勢，革命即將在全國取得徹底勝利的形勢下，蔣軍是儘量避免與解放軍作戰，特別是蔣介石準備建都重慶，企圖割據大西南。為了不留下後患，根據這一新的形勢和敵人的企圖，中共中央軍委指示各野戰軍：在消滅殘餘敵人的作戰中，必須實行大迀回、大包圍、大殲滅的作戰方針，只有首先斬斷敵人的逃路，才能徹底全部乾淨地殲滅這些敵人。同時，要求注意採取政治解決的方式即北平方式、綏遠方式，為戰鬥解決的輔助方式，以避免不必要的傷亡和破壞，加速戰爭的進程。
太原，是山西土皇帝閻錫山的老窩，他苦心經營38年之久，號稱「反共模範堡壘」。城市周圍的主要防區布有5000多個碉堡，什麼「梅花碉」、「人字碉」、「好漢碉」、「老虎碉」，還有以閻錫山名字命名的「百川碉」。閻錫山誇耀自己：「地球轉動一天，我們的工事就要加強一天！」閻錫山就是想憑藉這些堅固的工事、600多門大炮，加上日本人的技術、美國的援助，保持他那封建割據的反動王朝。
1948年10月，華北軍區第一兵團（後改稱第十八兵團）並指揮陝甘寧晉綏聯防軍區第七縱隊及晉中軍區部隊共8萬餘人，遵照中共中央軍委乘勝攻取太原的指示，在徐向前司令員指揮下，從1948年10月5日開始了對太原的圍攻。
前期作戰
太原整個戰役大體分為三個階段，戰役第一階段，首先在小店地區圍殲閻軍兩個多師，進而進行外圍要點的爭奪戰，到12月4日占領了城南和東山四大要塞，打開了進攻太原的門戶，共殲滅和瓦解閻軍6萬餘人。5日，根據中共中央軍委的指示，為配合平津戰役，緩攻太原，部隊轉入休整，除了對太原城閻軍做好監視外，就是部隊實地練習攻城攻堅的本領；另一方面就是對太原城開展「陣地喇叭戰」，也就是每天夜晚在前沿陣地對閻軍喊話，開展政治宣傳。平津戰役結束後，華北第十九兵團、第二十兵團及四野炮兵第一師，於1949年3月底開抵太原前線，協同第十八兵團作戰；根據中央軍委的決定，組成太原前線司令部和黨的前委，以徐向前任司令員兼政治委員和總前委書記。
攻城作戰
1949年3月底，中國人民解放軍副總司令兼第一野戰軍司令員彭德懷，由中央返回西北，途經太原時，因徐向前生病，他參與了總攻太原的作戰指揮。此時，正適國共和平談判在北平重開。4月11日，中共中央軍委致電太原前線總前委：我們和南京代表團的談判已進行了11天，頗有進展，如南京方面同意，可能於15日或16日簽字，但破裂的可能性仍存在，請將攻太原的時間，推遲到22日，那時如能簽訂和平協定，則太原即可用和平方法解決，如和談破裂或簽訂後後悔不執行，則用戰鬥方法解決，對我亦無多大損失。
4月14日，太原前線總前委致電中共中央軍委：自趙承綬、曹國忠和趙恭所派的杜某會面後，敵方並無回音，而封鎖更嚴。我們再送信入城，亦不能進去，我炮兵增加，均已進入陣地，偵察及各種準備工作已完成。按目前條件，爭取外圍切斷敵幾個師，而後乘勝攻城，把握是較大的。如16日與南京談判無大效果，可否提前攻擊太原。中央軍委於17日回電復示：你們覺得何時發起打太原有利，即可動手太原，不受任何約束。4月20日凌晨零時，南京政府拒絕在《國內和平協定》上簽字以後，太原前線人民解放軍萬炮齊發，解放太原的總攻打響了，古老的太原大地在熾熱的炮火中震顫起來。到22日閻軍外圍5個防區13個師全部被殲滅，其中城北軍事要塞屏障臥虎山，在中將軍長曹國忠率領下第十九軍11000多人毅然起義；北部大門洞開，使人民解放軍的鋼鐵洪流，越過臥虎山，直抵太原城。
24日拂曉，攻城戰鬥開始，解放軍的1300多門大炮，對準太原城牆，整整轟擊了20分鐘，城牆像一條火龍般熊熊燃燒起米，攻城的部隊蹲在掩體、壕溝內，回頭看看設在雙塔寺總攻指揮所，等待著總攻的信號，不一會兒6顆信號彈上了天空，炮火立即向城裡延伸，城牆已轟開兩丈多寬的一個大缺口，不用雲梯就可以越過去。一聲衝鋒的命令，突擊隊員劉庚武舉起紅旗，跳出掩體，突擊隊緊跟著紅旗，跑了上去。劉庚武很快站到了城牆上，雙手握著旗杆，紅旗撲啦啦來回搖擺，帶領尖刀組的副連長王福全立刻抽出信號槍，向天空發射了兩發「發龍」，向攻城指揮所報告：勝利地登上了太原城。
插在太原城頭的紅旗，正迎著朝陽，勝利招展！後續部隊，已像潮水般湧進城去，從四面八方向著閻錫山的巢窩——國民黨太原「綏靖」公署會攻。12時許，逼近「綏署」辦公大樓，首先解決了閻錫山視為「誓死忠貞」的警衛部隊。正當解放軍要對大樓進行炸藥包爆破的時候，樓里喊著：「別打，別打！」隨著聲音，跑出來一個人，穿著便衣，也沒戴帽子，慌慌張張向解放軍某部四連指導員許義保敬個軍禮，說：「長官，長官！有我們綏署參謀長在，他正要找貴軍談判。」許義保回答：「談判什麼？叫他出來投降！」接著，一個穿呢子軍服的傢伙走了出來，兩眼不住盯著許義保，因為在入城時許義保的棉衣被火燒了，現在只穿一件襯衣，棉褲也破爛不堪，這傢伙便裝腔作勢地問：「你是什麼人？我要跟你們負責人談判。」許義保拿著手榴彈對他晃著說：「你還神氣呢！談判？我們早已給了你們談判的機會，你們不識好歹。現在沒什麼談的，只有繳械投降。」這傢伙看到許義保聲色俱厲，知道不是士兵，趕快賠笑道：「我是綏署參謀長趙世鈐，孫主任和王總司令都在，早就準備投誠哩。」許義保說：「少說廢話，趕快叫他們出來投降！」趙世鈐又從懷裡掏出一封信遞給許保義說：「這是我們孫主任和王總司令給徐向前將軍的信，請轉給他，我們宣布投降了，投降……」許保義立即命令他們把槍放在一邊，人站到另一邊。這時，孫楚、王靖國等一夥閻軍高級將領也都從樓里擠出來，一個個從身上解下手槍、「軍人魂」短劍，規規矩矩地站在一邊。在外邊一數，這座樓里竟有380多人，除了孫楚、王靖國、趙世鈐，還有閻軍十兵團副司令溫懷光、三十四軍軍長高卓之等十多個高級將領。
「太原五百完人」真相
當這群俘虜被押出，已是下午兩點多鐘。這時，還有很多解放軍圍著另一座余火未燼的樓房，原來是特務頭子梁化之自知罪不容誅，在解放軍進城時畏罪自殺。而閻錫山當時在廣州對外界大肆宣傳：太原被攻陷之時，他的部下以省府代主席梁敦厚為首有五六百人自殺「成仁」，號稱「太原五百完人」。1949年10月，逃到台灣的國民黨立法委員吳延環等36人提出建立「太原五百完人招魂塚」的提案。後來在台灣的國民黨行政院於1950年3月撥新台幣20萬元，在台北市建立「太原五百完人招魂塚」，1951年2月19日落成時，蔣介石親率逃到台灣的國民黨軍政各界首腦前往致祭，許多要人題詞寫匾，大肆宣揚。
其真相究竟是什麼樣？事實是在解放軍圍攻太原開始後，閻錫山要部下「與太原共存亡，不成功，則成仁」，並且準備了數百瓶氯化鉀，由太原「綏署」副官處保存，要求他的政治組織同志會的基幹以及基幹以上的高幹和候補高幹等共約五百餘人，在城破之時仰藥殉職。1949年初，閻錫山招待幾個外國記者時，指著擺在桌上的氯化鉀藥瓶信誓旦旦：「我決心死守太原，與城共存亡，太原如果失守，我就和這些小瓶同歸於盡。」但是到了3月29日，他在下午2點鐘，召開緊急會議作了一番布置之後，以借「去南京商決黨國大事」為由，隻身逃跑了，為了表示還回太原，不使別人產生疑心，連他最愛的五妹子閻慧卿也沒帶走。太原解放清理戰場時，會同知情人辨認，真正自殺的只有46人。而這46人中，有幾人並未擔任公職，是被脅迫自殺或其他原因同歸於盡的。如18歲的晉劇演員王桂燕是被蘭鳳脅迫，王欲出而被蘭鳳擊斃。特警處工作人員劉福之妻荊淑貞、王寶山之妻張桂雲是在地下室內躲炮彈而與自殺者同歸於盡的。
解放太原全殲守敵124000餘人，結束了閻錫山對山西人民長達38年的反動統治，拔除了國民黨在華北殘留的一個最大據點。太原新中國成立後，威懾了大同守敵，4月29日，防守大同的閻軍萬餘人投誠，大同解放。