1928年國民黨二次北伐告捷後,全國統一在即。為安葬在北伐戰爭中陣亡的官兵，以慰忠魂」,當年11月,國民黨中央執委會決定在靈谷寺舊址上,建造。
由陳果夫、劉紀文、林煥廷、傅煥光和夏光宇等組成建造陣亡將士公墓籌委會，於1929年9月第五次籌委員會上決定以靈谷寺舊址為公墓地址，以便與明孝陵東西呼應,構成中山陵園主要風景區。公墓地址確定後,籌委會遷入靈谷寺辦公,同時聘請了美國建築師茂菲為公墓建築師,中山陵的監工工程師劉夢錫擔任公墓監工工程師,特聘美術家梁鼎銘先生為公墓藝術專員。
茂菲設計的方案經公墓籌備委員會十七次討論才最後確定下來。公墓共分三片:第一公墓在無梁殿後原明代靈谷寺五方殿址,第二、第三公墓分別位於第一公墓的東、西兩側,三座公墓形成了一個鈍角三角形布局。公墓的布局,基本上保持了靈谷寺原有的格局。
靈谷寺始建於南朝梁天監十三年(514),是梁武帝為安葬名僧寶志而建立的寺院。據《高僧傳》卷十記載,寶志又作保志,俗姓朱,金城(甘肅蘭州)人。出家後師事僧儉,修習禪學,有很深的佛學造詣。傳說在南朝宋太初元年(453)以後,言行神異,「手足皆鳥爪」,常隨身攜帶刀、尺、拂之類的東西，披髮赤足而行「時或賦詩,言如讖記」。齊武帝、梁武帝和侯王士庶視之為「神僧」,十分推崇。
寶志圓寂後,梁武帝在其安葬處即鐘山西南坡獨龍阜建築五級木塔，並逐步擴充成寺廟,取名開善精舍。當時,佛教十分興盛,鐘山一帶有佛教寺廟七十餘座,但開善精舍規模最為宏大,被稱為鐘山第一禪林。從山門到大殿長達五里,寺內有放生池、金剛殿,天王殿、無量殿、五方殿、毗盧殿、觀音閣等殿堂,寺後有寶公塔,十分巍峨壯麗。
唐朝乾符年間，改名為寶公院。宋朝開寶年間(968-975)，更名為開善道場。宋太宗太平興國四年(979),宋太宗又題寺額為「太平興國禪寺」。其後又改為十方禪院、蔣山寺。
明朝建都南京後,選擇龍盤虎踞的鐘山西邊為皇家陵園,明太祖就把寺廟遷到鐘山東南麓。這裡「左群山右峻岭,北倚天之疊嶂,復穹岑以排空,諸巒布勢,若堆螺髻於天邊」。寺廟建成後,明太祖賜額「靈谷禪寺」。清康熙四十六年(1707),康熙皇帝南巡時,臨幸鐘山,御賜「靈谷禪林」匾額,並書「天香飄廣殿,山氣宿空廓」對聯賜寺。
靈谷寺雖然遭受清咸豐年間戰火的嚴重破壞,已是頹廢不堪，但畢竟是一座歷史悠久、影響很大的金陵名剎,為了保留靈谷寺，建築陣亡將士公墓籌備委員會決定把靈谷寺原有的佛像全部移到無梁殿東側的龍神廟中保存下來。
國民革命軍陣亡將士公墓為正南北向，在中軸線上，依次為正門、牌坊、祭堂、紀念館和紀念塔。正門位於萬工池北,原是明成祖時所建的金剛殿，光緒十一年改作靈谷寺山門。建造國民革命軍陣亡將士公墓時,將山門擴建，東西兩側各闢邊門以通車馬，正門前有一對當時北平軍分會贈送的石門上原有蔣介石手書的「國民革命軍陣亡將士公墓」匾額,現改為「靈谷勝境」四字，由現代畫家錢松喦先生書寫。正門為仿古建築,頂覆綠色琉璃瓦。
進人正門，沿著青石鋪成的甬道來到一座高大石牌坊前，牌坊矗立於42層石階之上，台基東西長32.7米,南北寬16.6米,牌坊高10米,共5楹,形式與北京十三陵的五門牌坊相仿。牌坊正面中門門額上橫刻「大仁大義」四字,背面刻「救國救民」四字，均為國民黨元老張靜江所書。牌坊前左右兩側還有一對石虎，是建造陣亡將士公墓時陸軍第十七軍所贈。
祭堂由無梁殿改建,無梁殿原名無量殿,是明代靈谷寺僅存的一座佛殿,因供奉無量佛而得名,又因整座建築全用磚石砌成,無梁無椽,所以又稱無梁殿。東西長約50米,南北寬約34米,面闊五間,進深三間,側面三進各為一縱列式在筒券,中間券最大殿內正中有三塊高大的青島石碑刻敬人三個法圓中,中碑刻「國民革命軍陣亡將士之靈位」。由張靜江題書:西碑刻梅介社期中北代督詞:東碑刻陳果夫書寫的中國國民黨中央執行委員會祭文。1981年重修無梁殿時改刻中碑為「國民革命烈士之靈位」、西碑為「國歌」、東碑為總理遺屬。祭堂四周壁上，嵌有一百一十塊太湖青石碑，鐫刻陣亡將士姓名和階街，全部碑文共十六萬多字,由書法家倪幼耕、郭仰韓、郭伯恭三人書寫、石工唐仲芳、尹鐵蒼、楊文卿、周梅谷等鐫刻。祭堂修復竣工後,定名為「正氣堂」。
第一公墓面積約十四畝，內辟蛛網式水泥小道，分列大、中、小各式墓穴一千六百二十四個,每一墓穴下部用磚砌,上面用水泥蓋板,每一墓上均有小石碑一方。無梁殿東西兩側的第二、第三公墓,面積各約十畝,形式與第一公墓同。50年代初第二公墓改建為鄧演達墓,第一公墓改為花圃、草坪，第三公墓已荒廢。三個公墓均由南京李新記營造廠承建。
紀念館在第一公墓正北，東西長約四十一米,南北寬約二十米，分上下兩層，鋼筋水泥仿木結構,歇山頂,屋面鋪綠色琉璃瓦。樓下分九間,中為穿堂，樓上是走馬樓式。館內供布置陳列，如1936年10月曾在此舉辦全國童子軍作品展覽。1933年2月完工後正式定名為革命紀念館，由蔣介石題書匾額。50年代始改名松風閣。
紀念塔在紀念館後約一百米處,由茂菲等人設計。塔建於1929年，塔基為直徑三十米的大平台,正面有石階,石階正中為一幅長五點八米、寬二點八米之白色花崗石雕「日照山河圖」。塔高六十多米,九級八面,鋼筋水泥和花崗石混合結構。底層直徑十四米,頂層直徑九米,每層以綠色琉璃瓦作披檐,外設圍廊,置以石欄。塔中高螺旋式扶梯直上九層,共二百五十二級登塔遠眺,蒼山林海,盡收眼底。塔頂覆綠色琉璃瓦,飛檐翹角,塔尖上豎鍛金相輪,金光燦燦,炫人眼目。
靈谷塔內壁上嵌有碑刻甚多,底層正門欄眉為高藝林題「靈谷塔」三字,後門額刻傅煥光題「有志竟成」四字,外壁刻蔣介石題「精忠報國」四字。第二層至第四層嵌孫中山北上時的黃埔軍校告別辭,共十二塊,草書,于右任書。第五層至第八層嵌孫中山在黃埔軍校的開學詞,共十六塊，吳敬恆書。50年代後更名靈谷塔。