1949年，劉文輝和鄧錫侯兩位將領發出了起義通電，表示反對蔣介石的反動政權，雲南的盧漢將領也已經釋放了所有被捕的共產黨員，準備宣布起義。
蔣介石的政權在大陸即將結束，已經到了末日。面對此局勢，蔣介石決定逃往台灣，而陳立夫也有跟隨其逃亡的想法，但是被蔣介石阻止了。
蔣介石留下陳立夫的目的是為了監督曾經的「山西王」閻錫山，在國民黨內部將領紛紛背叛的時候，蔣介石很擔心閻錫山會向共產黨投降。因此，他安排陳立夫監督閻錫山，如果發現他有任何傾向，陳立夫必須立即採取行動阻止，甚至可以採取致死的手段。
太原戰役時，他們曾考慮通過和平解決爭取閻錫山的支持。為此，他們派遣閻錫山的老師，攜帶徐向前的信件前往太原試探。但是，閻錫山並沒有聽從老師的勸告，反而無情地將老師殺害。
隨著國民黨政權的逐漸瓦解，閻錫山開始四處逃避，儘管表面上裝作是蔣介石和李宗仁之間的調解者，但實際上他心裡早已明白誰擁有更大的勢力，並一直站在蔣介石這一邊，儘管如此，蔣介石並沒有真正相信這個多次與自己交戰的「山西王」。
因此，當解放軍再次對閻錫山的領地實施圍攻時，蔣介石派遣陳立夫監視他的一舉一動。
第二天早上，隆隆的炮聲已經響起，預示著解放軍即將進攻。。陳立夫非常擔心，如果飛機再有任何意外，解放軍的火力就可能封鎖機場，導致他們無法離開。因此，他向飛行員詳細詢問，如果再次遇到同樣的情況，該如何才能順利飛行突圍。
飛行員短暫的猶豫後，毫不掩飾地告訴陳立夫：「閻院長帶了太多重物，光是金條就有數十箱，導致飛機過載，這使得在遇到寒流時，飛機無法上升。因此，唯一的解決辦法就是減輕飛機的重量。
陳立夫聽了飛行員的說辭後，非常擔心飛機的超載問題，趕緊去找閻錫山商量，希望他能夠減輕一些重量。然而，閻錫山聽了之後非常不滿。他說:「以後我都要靠這點錢生活，我不能丟失任何一分一毫。」陳立夫對此非常惱火，認為閻錫山太過貪婪。
最終，他不得不向閻錫山施壓，要求他舍小取大，將部分物資卸下。經過仔細考慮，閻錫山同意留下幾個隨行人員，但仍然堅持將那幾十箱金條帶上飛機，最終逃往台灣。
不過，閻錫山自己也清楚，到了台灣後，對於蔣介石來說他已經沒有任何利用價值，被拋棄只是時間問題。為了達到子承父業這個目標，任何有影響力的人都可能成為被清除的障礙。
閻錫山在菁山興建了一座簡易的木板房，名為「菁山草廬」，成為他的居所。1950年8月，閻錫山和他的親信一起遷居到了「菁山草廬」。
閻錫山一生都非常追求權力，但在晚年的時候，他的生活卻變得十分單調。聽京劇成了他唯一的娛樂，而且他從來不去觀看演出，只是靜靜地聆聽。有朋友曾經寫信給他，建議他信仰宗教，以免寂寞。
然而，現實的孤寂讓閻錫山的倔強變得無比脆弱。隨著時間的推移，他曾經的秘書和侍從逐漸減少，從最初的近40人，減少到不足10人。在晚年，閻錫山最大的助手原馥庭開始感到自己年紀越來越大，開始動搖自己能否繼續協助閻錫山寫作。
1960年，閻錫山已經年過七旬，身患嚴重疾病。不久之後，便離開了這個世界。閻錫山一生秉持著「中道」理念，他的墓前豎起了一個水泥大字「中」，以表達他對這種信仰的堅定信念。