審訊清楚：前太子劉據的門客向他算卜，說他長得象劉據，他便將劉據在宮中的情況大概問清，假充劉據想圖個富貴。剛開始方遂不肯承認，後來經湖縣人張方祿等指認，無可狡辯才招認了，將其斬首。這件事讓雋不疑更有名了，霍光知他喪偶未娶，想讓自己女兒配給他做繼室，但雋不疑不肯，雋不疑後來辭職善終。
撤銷專賣：霍光還根據民眾意願，撤銷鹽鐵酒的專賣，御史大夫桑弘羊說這是為了籌集軍費，但霍光決心與民休息，還是撤銷了專賣。這時，匈奴狐鹿姑單于病死，遺命說他的兒子太小，應立右谷蠡王。但閼氏顓渠與衛律密謀，藏下遺命，立狐鹿姑的兒子壺衍鞮做單于。而右谷蠡王及左賢王等，不服幼主，拒召不來。
蘇武拒降：顓渠閼氏擔心內亂外患都來，於是派使欲與漢廷和親，漢廷提出索回蘇武常惠等人，才准言和。蘇武困居匈奴北海已有19年了，衛律多次強迫蘇武降胡，蘇武執意不從。到李陵敗降匈奴，專門到北海來勸蘇武降胡，倆人向來關係較好，李陵與蘇武飲酒重敘舊情，李陵說蘇武在國內是兄死弟亡，母死妻嫁。
索還蘇武：蘇武以死拒降，讓李陵長嘆，蘇武你才是個義士，我與衛律，罪且通天。蘇武后來同意李陵介紹，納一匈奴女子為妻。現在漢使索還蘇武等，匈奴稱蘇武已死。常惠夜見漢使授意，第二天漢使對壺衍鞮單于說，大漢天子射得一雁，雁腳上是蘇武的親筆信，說他在北海。現單于既然想言和，怎麼還想欺人呢！
蘇武回國：單于沒奈何同意蘇武、常惠等放回。李陵奉單于命，到北海召還蘇武，倆人且飲且說，李陵說你如今回國，將載入史冊，只恨自己不能與你一起還朝，我也沒臉面再歸故鄉，此別可能是永訣了。說得倆人都流下了眼淚。蘇武出使時年方四十，現在頭髮全白，他仍拿著漢節，長安人見了都無不讚嘆。
不願回漢：蘇武娶的那個匈奴女人已懷孕，但沒帶回來。漢與匈奴可通信了，不久李陵來信說該女已生一個兒子，蘇武去信託李陵照顧，並勸李陵有可能回漢。霍光、上官桀與李陵有同事友誼，特派李陵的老朋友任立政前往匈奴，設法招李陵回來。而李陵擔心回來受辱，無志重歸。任立政臨回來，李陵托帶信給蘇武。
對付霍光：上官桀父子，為了丁外人不得封侯恨霍光。蓋長公主也怨霍光不肯通融，於是內外聯合，視霍光為眼中釘。忽然由昭帝自己下詔，加封上官安為桑樂侯，霍光想想上官安是皇后父親，封侯還好算常例，所以沒有諫阻。但上官安卻因此驕淫，從宮裡喝完酒回家後，發酒瘋亂說我家東西不如皇上女婿家。
想搞倒霍光：太醫監充國，無故入殿被拘下獄。這個充國為上官安的外祖所寵愛，上官桀向霍光求情，霍光不同意，經廷尉定充國死罪。上官桀只好去求蓋長公主，蓋長公主替充國獻了二十匹馬，贖其死罪。這樣上官桀父子更加感念蓋長公主的恩德。上官桀因而秘密布置，想號召內外官僚，搞倒霍光這個親家。
串同一氣：燕王劉旦謀反失敗，懷著仇恨。御史大夫桑弘羊，因霍光撤銷了鹽酒鐵的專賣，子弟等多導致失去職務，另找位置又被霍光從旁掣肘，不得如願，所以與霍光也不好。上官桀一面就近聯絡桑弘羊，一面派人勾通劉旦，串同一氣，再加蓋長公主作為內應，一起對付霍光。霍光出外到廣明去校閱羽林軍。
彈劾霍光：上官桀與桑弘頭準備趁此發難，急切中決定讓桑弘羊以劉旦名義上書，彈劾霍光以便定罪。不料霍光已回京，只好順延幾天，才將上書遞進去。這是始元七年，改號為五鳳元年，昭帝已經14歲了，接得署名劉旦的上書，書中稱霍光在外稱蹕擬乘皇上用輿，不用忠心的蘇武，重用無功的楊敞，擅調校尉等。