1949年蔣退守臺灣，而閻錫山、陳立夫以及朱家驊搭乘同一架飛機去臺北，到四川和湖北交界處時遇到寒流，飛機突然下墜了三百米，只能被迫降落成都，原來是飛機上長官攜帶的黃金太多超載，陳立夫找閻錫山商量要少帶一些黃金，但是閻錫山不同意，為了保證飛機不超重，最後只能讓幾個侍衛留下。

閻錫山之所以帶走這麼多金條，目的是為了以後能夠反攻大陸使用，但是他也沒想到這一去就再也沒回來，當初閻錫山也想過移居美國或者日本，因為他的兒子在美國，很多親戚在日本，但是多次申請都未獲得批准，而在臺灣又因為蔣處處設防，他在臺灣的晚年生活還是比較淒涼，為了避開政局紛擾，閻決定帶著40名部屬家人隱居在陽明山。

到臺灣的閻錫山基本是過著半隱退的生活，雖然如此，他依然是經常和部署開會，留下了很多會議記錄，但是政壇的失意讓他已經無會可開了，所以他出了開會之外基本就是在種地，甚至還養雞養豬。後來他乾脆租起了農場，種起了柑橘和松鼠，寫作疲憊的時候他就在這裡種地打發時間。

閻錫山在陽陰山居住了10年，這期間除了蔣介石看過他幾次之外，陳誠也禮貌性地來看過他一次，其餘時間他的侄兒閻志昭是他唯一的客人，另外只有一些報刊、電臺影視記者對閻感到好奇。就這樣靠一月5萬的收益養活了所有的部署，但是這顯得非常吃力，為了替部署張羅生計，他曾一度離開臺北甚至在臺北還開了一家印刷廠，儘管他在幫部下打算，但是終究大家耐不住寂寞，正在計劃離他而去。

最開始的時候跟隨閻錫山的秘書和侍從多達40人，慢慢地變成了10人，就連協助他寫書的原馥庭也動搖，臺北有人邀請他前往收入穩定得多的機關做事。但是他請示閻錫山的時候，閻錫山沉默了許久，最後說道：“你不能離開我。”

到1960年閻錫山去世，跟隨他的人都基本散去了，只有張日明五十年如一日的守護的故居與墓園。這也難怪，當年太原“淪陷”後閻錫山派飛機救了20人到廣州，他就是其中之一。這也是為了報答閻錫山的恩情。