外調霍家親戚：宣帝留心觀察，覺得霍後不喜歡太子，心下大疑。回憶從前許皇后死狀，莫非果然由霍氏設計，派人下毒以至暴死。且漸漸聞得宮廷內外，有傳言流露毒案，因此與魏相密商，想出一種釜底抽薪的計策。當時，范明友、任勝等都是霍光的親戚，宣帝逐個將這些把握京都皇宮軍權的霍家親戚外調。
霍禹不滿：霍禹因兵權被奪，親戚調走，當然鬱憤得很，稱病不上朝。大中大夫任宣、曾做過霍光長史，特地去探視霍禹病情，霍禹絲毫不隱瞞，稱宣帝為縣官，說縣官是我家父親立的，今父親墳上土未乾，就將我家排斥，我家有什麼大過？任宣勸他，以前你家威風，現在許家是皇親，應該貴顯，你不要介意。
霍禹大驚：但彈劾霍家卻沒停沒歇，讓霍禹等愁得日夜不安，只好轉告霍顯。霍顯勃然道：「這是魏丞相暗中唆使，要滅我家」。霍禹說除了我家這些親戚行為不謹，容易受人攻擊，現長安人都說是我家毒死許皇后，究竟這個說法從何而來。霍顯不禁起座，引霍禹到內室，把淳于衍下毒實情都告訴霍禹，讓霍禹大驚。
密謀泄露：霍禹自思一不做二不休，將錯就錯，索性把宣帝廢去。霍家人正在秘商時，霍雲舅舅李竟的好友張赦進來，出主意說，讓上官太后誅殺魏相、許廣漢，剪去宮廷羽翼，天子勢孤，再讓上官太后下詔廢去宣帝。不料霍氏的馬夫聽見，夜裡私談時被與馬夫相識的長安亭長張章聽到，張章寫成一書投入皇宮。
當面斥責：宣帝看到這書，就發廷尉查辦。霍氏知陰謀泄露，越覺驚惶。霍山等表示不如先發制人。這時，霍雲舅舅李竟因有罪被抓，連帶將霍雲霍山也免去官職，只有霍禹一人入朝上班，偏又遭到宣帝當面斥責，說霍家女進太后皇后兩宮何故無禮？家奴馮殷等何故不法？說得霍禹頭汗直流，退朝回來告知霍顯。
禁止入宮：霍顯夢到霍光問她，你知兒子被捕沒有？霍禹也夢到車聲馬聲來抓人，母子清晨起床，互述夢境都很擔憂。第二年春季，宣帝讓舅舅王無故、王武封侯，頓使霍家相形見絀。不久宣帝頒詔，將霍雲、任宣外放做太守，接連又發覺霍山的問題。金日磾之子金安上上奏宣帝，請求禁止霍氏家族出入宮廷。
霍氏滅族：宣帝不能再容忍，當即派官吏四出，將霍氏家族全部逮捕。范明友先知道消息，與霍山霍雲服毒斃命。霍顯母子被抓，審訊出毒死許皇后的實情，霍禹處腰斬，霍顯及所有霍氏女兒、女婿、孫婿，甚至近戚疏親被誅殺，誅滅不下千家，包括馮殷也被誅殺。皇后霍成君因此被廢，十二年後迫令自盡。
馬驚不走：誅滅霍家後，宣帝到昭帝陵祭祀，走到途中，前面騎士的佩劍無故出鞘，劍柄墜地插入泥中，光閃閃的劍鋒讓御馬驚躍，不敢前進。宣帝心知有異，派有司代祭，有司到了廟中，查獲刺客任章，是霍氏黨徒任宣的兒子，任宣被誅後，任章為父報仇，準備在宣帝祭祀時行刺。任章當然被斬首。
立皇后：立皇后問題，宣帝也費了一兩年時間，宣帝認為有兒子的，會對皇太子有威脅，成為第二個霍氏。於是挑了一個無兒子小妒嫉的王姓宮妃做皇后，讓他撫育太子劉奭，但宣帝並不特別寵愛王女，王女性情溫和，毫不爭夕，是一個賢婦。這時已是宣帝六年，百官都說祥瑞，宣帝頒詔大赦天下，省刑減賦。