大南峪位於房山坨里西北辛北路西側，多年前一直是京煤化工的火藥庫。因屬重點安全單位，不是隨便能踏足之地。《房山區志》與《房山地名志》均以呂祖廟一稱納入區級文保，沒有提及奕繪顧太清故居一事。
《房山區地名志》記：「呂祖廟 位於坨里大南峪內，創建於明代，清代重修。寺依山而建，總面積五萬平方米。廟前150米處是過街樓，為明代建築，樓內設一座三孔石橋。廟為四進殿堂，前均設月台。末殿為兩層閣樓，上下各五間，前出廊，面闊16.8米。建築裝修部分被改，有微破壞」。《房山地名志》所記呂祖廟，是明代皇帝朱翊鈞生母李太后所建的天台寺的一部，後又被奕繪與顧太清重建為大南峪別墅。
奕繪，全稱愛新覺羅·奕繪，字子章，又號妙蓮居士，太素道人，為清乾隆帝第五子榮純親王愛新覺羅永琪之孫，榮恪郡王綿億之子。生於嘉慶四（1800）年，嘉慶二十（1815）年六月承襲多羅貝勒，道光十八（1838）年戊戌七月初七日辰時溘逝，年僅四十。奕繪是清嘉慶、道光年間一位頗有名氣的宗室詩人。
顧太清（1799年2月——1877年12月。名春，字梅仙。原姓西林覺羅氏，滿洲鑲藍旗人。嫁為貝勒奕繪的側福晉。顧太清被現代文學界公認為"清代第一女詞人"。晚年以道號"雲槎外史"之名著作小說《紅樓夢影》，成為中國小說史上第一位女性小說家。顧太清文采見識，非同凡響，因而八旗論詞，有"男中成容若(納蘭性德)，女中太清春(顧太清)"之語 。
1834年3月年奕繪和顧太清遊歷大南峪曾賦詩:"三月三日天台寺，日午靈風入法堂。一段殘碑哀社稷，滿山春草牧牛羊。庭前柏子參真諦，洞口桃花發妙香。笑指他年從葬處，白雲堆里是吾鄉」。奕繪顧太清遊歷大南峪，看中這片幽靜的山林，七月奕繪開始在呂祖廟基礎上修建別墅。奕繪修建大南峪別墅歷時五年，至奕繪去世時尚未竣工。
《房山區志》全篇引用《地名志》文章，均以呂祖廟文保介紹，也未提及奕繪顧太清故居。廟前一百五十米為過街樓，過街樓為明代建築，又稱楊樹關。過街樓內的三孔石橋尚存，但橋與地面已經淤平。惟橋上的漢白玉石欄遮掩在荒草之中，無法拍出橋的效果。
別墅建築群為四進院落，房屋前均設月台。第一進院為山堂，房後有兩棵高大的白皮松。東側胯間設有天窗，是後改建的饗殿，即廚房、餐廳。
當時別墅院內已無法進入，只能走旁邊小路上行。南山林木蔥鬱，別墅慘不忍睹。
正室屋頂已毀，曾高懸的霏雲館匾額也沒有了蹤影。
霏雲館兩側各有廂房三間，主體尚好只是荒榛滿目。
霏雲館後為「清風閣」，清風閣為二層磚木建築。
清風閣上下五楹，檐下曾懸「清風閣」匾，閣下各有鹿頂小室一間。
清風閣前出廊面闊16.8米，廊下石階為漢白玉條石砌成。
一層頂部用圓木微距排列，堅固、隔音、保暖。
清風閣後有漢白玉石欄階梯，階梯之上為奕繪顧太清及其子墓寶頂。寶頂四周原設有石圍欄，當時只能見到階梯兩邊的圍欄，寶頂已不復存在。
大南峪以楊樹關、第一橋、山堂、霏雲館、紅葉庵、大槐宮、東坡小石城、牛羊砦、菜圃構成大南峪十景。可惜多羅貝勒奕繪在大南峪別墅尚未完工即去世。顧太清是奕繪的側室，奕繪於道光十八年七月初七病故後，因清代詩人龔自珍的一首詩「空山徒倚倦遊身，夢見城西閬苑春；一騎傳箋朱邸晚，臨風遞與縞衣人」。被人利用，引起一段「丁香花」歷史公案。這段公案若發生在當下也就是名人緋聞。但當年十月二十八日，奕繪與嫡福晉所生長子載鈞以「丁香花案」為由，挾太夫人(太清的婆婆)之命將顧太清及其所生子女趕出府邸。有文章稱顧太清被趕出家門後，時常生活在大南峪。直至五十九歲親生兒子襲鎮國公，顧太清終於和她的子孫無拘無束名正言順地生活在榮王府。
光緒三（1877年12月7日）年丁丑年十一月初三，顧太清走完了人生最後的歲月，卒於大佛寺北岔府邸。享年79歲，後葬於房山大南峪園寢，與奕繪合葬魂歸一處。
大約從兩千年後，每逢清明前後，奕繪和顧太清後人都會來大南峪掃墓祭祖。著名滿學女真文和蒙古史專家金啟孮在世時，就一直在為建設奕繪顧太清紀念館奔走。老人家曾和啟功、史樹青、羅哲文等一批名家學者聯合簽名，向市政府提交了倡議書。在各方的努力奔走下，大南峪終於見到了整修後的畫面。