朱元璋在玄武湖湖心五洲建大明黃冊庫之前的幾百年間，南京玄武湖曾兩次被填。
隋文帝南下討平了陳朝之後，怕前朝餘孽死灰復燃，便將南朝都城建康城的宮苑推平，讓農民在上頭耕種。建康，也被改回秣陵。玄武潮，離官苑太近，也未能避開這場劫難。後來唐代的顏真卿曾經在這裡擔任過地方官，他在玄武湖原址設立了一個放生池。直到南唐後主李煜時，玄武湖才被重新疏浚。
北宋時，王安石曾在江寧府擔任知府，辦公地點正在玄武湖旁邊。他是個出了名的務實主義者：這風景再好，也不能當飯吃啊，太浪費了。於是王安石給宋神宗上書，建議排空湖水，改為農田。他算了一筆帳，將這個湖填平，可以多得200餘頃好田。
這種好事，朝廷自然界不會不允。就這樣，在王安石的主持下，開十字河，立四斗門。可憐的玄武湖再一次被人為放空，化為一望無際的農田，只留下十來個小池塘。王安石對這項政績很是得意，特意寫了一首《書湖陰先生壁》以為紀念："茅檐長掃淨無苔，花木成畦手自栽。一水護田將綠繞，兩山排闥送青來。"這兩山是鐘山、覆舟山，這一水，即是玄武湖。昔日那煙波浩渺的大湖，成為了"護田繞綠"的條條水渠。
王安石的初衷是好的，可惜對城市規劃缺乏了解。沒了玄武湖，城市的排水功能受到極大限制，一下雨就澇。這個麻煩從宋代一直持續到元代，以至於元廷不得不先後兩次重新疏浚。在鐘山附近開河道，重新蓄水還湖，才算讓玄武湖稍微緩過來一點。
一直等到大明皇帝朱元璋定都應天府之後，他著手對玄武湖——官方名字已被定為後湖——做了一次大改造，才使之恢復到最盛時三分之一的格局，夠資格重新稱湖了。