在霍光死前，漢宣帝通過祕密調查，已經得知了皇后許平君被霍光老婆毒死的真相。但是他不動聲色，平靜地在等待著霍光的死日。公元前68年，霍光終於病倒了。宣帝不僅派出使者慰問，並且親臨霍光府上探病。
皇帝被迎進了病房，霍光掙扎著想要爬起來行禮，宣帝趕緊將他扶住。霍光老淚縱橫，不停地說著感激的話。然後就命令家人全部退下，病房只剩下他和皇帝。霍光很長時間沒說話，只是不停地咳嗽。
皇帝不得不主動地說：“大將軍若是沒有事，就安心養病吧。”
霍光於是對著皇帝耍起了太極，迴應道：“陛下如何看臣？。
對於這樣的問題，皇帝的反應極快：“大將軍於漢有再造之恩，非伊尹、周公不足並論”。
霍光滿滿地說道：“陛下說的不是心裡話”。皇帝說的當然不是真心話。霍光真不識趣，自己大權獨攬幾十年，臨死也沒有放下最高權力，並且包庇害死皇后的老婆，你怎麼讓皇帝說真心話。
然而宣帝是一把演戲的好手，他繼續表演著：
“朕說的是真心話，大將軍一片苦心，旁人不明白，可朕卻明白！”
霍光於是進行了自我批判：“臣知道，有很多人都在心裡說臣跋扈，說臣無人臣禮，說臣大逆不道！”
宣帝安慰道：“大將軍請放心，若非大將軍，朕如何能登上帝位！朕不會講這些欲加之罪放在心上，大將軍先進最重要的還是養好病，朕還等著大將軍在朝堂上為朕排憂解難呢。”
霍光知道自己的病好不了，他心中最關切的是如何在他死後如何讓皇帝保全家人。但是他繼續進行鋪墊：
“臣年近七旬，幸得孝武皇帝賞識，孝昭皇帝與陛下信重，榮華富貴享受了一世，便是今日死了也不算夭，這些日子，臣總是在做夢，夢見孝武皇帝和孝昭皇帝，夢見臣的兄長，……陛下，昔日孝武皇帝欲為臣兄長治宅第事陛下知道？”
“朕知道此事。”
霍光繼續說：“論及才能，臣實不如兄長十分之一，論及氣度，臣便連兄長的百分之一也抵不上。兄長為國而不顧家，臣卻貪心，要想家國兼顧……臣到如今這境地，念念不忘的便是家人了。”
皇帝終於明白了，霍光拐彎抹角地說了半天，無非是要保全家人性命。霍光知道，皇帝一定要報仇。
“陛下，臣死後，還請陛下年臣這數十年勤奮，雖無大功亦有苦勞，寬宥臣的家人，他們便有些不法行徑，陛下……”他用眼睛哀求皇帝。
宣帝在被霍光盯了許久之後，說：
“朕的皇后是大將軍之女，大將軍的家人便是朕的家人”。
其實，這是句十足的假話，所謂霍皇后，不過是霍光強加給皇帝的。只有那個被霍光老婆毒死的妻子才是皇帝的家人。然而宣帝莊嚴做出承諾：
“大將軍儘管放心，你的家人……除非是犯下了謀逆之罪，朕必然赦免他們。”
霍光終於達到了目的，緩緩地點頭：
“如此，臣雖在九泉之下，也深沐陛下聖恩。”
霍光死了，死後的哀榮為人臣之極。
霍光的託付是可悲而可笑的。像韓信一樣，霍光自己以市井之心對待皇帝，現在卻要皇帝以君子之臣對己。
霍光死後的一年裡，皇帝不動聲色。他不是不要報仇，而是怎樣報仇才不違背對霍光的承諾。誅滅霍光的家人必須有正當充分的理由。
有人向皇帝提出警告，放縱霍光家人，可能產生顛覆皇權的風險，也不是保全霍光家人的穩妥辦法。宣帝自信得很，他相信自己能夠把控局面，他要霍家由瘋狂走向滅亡，因而對約束霍光家族的建議置之不理。
宣帝用立原皇后許平君的兒子為太子的方式向世人宣告，他已經掌握了國家的最高權力，丞相韋賢作為霍光的親信，感受到了皇帝立許平君兒子做太子的真實含義，這是一個明顯不利於霍皇后和霍家的重大信號，於是他辭去了丞相的職務。宣帝接著便任命御史大夫魏相為丞相，他以前上書批評過霍家，贏得了皇帝的信任。緊接著又以擔任了太子太傅的邴吉為御史大夫，讓疏廣接替了太子太傅的職務。然後開始削多霍家的兵權，皇帝步步緊逼，霍家決定謀反，於是被人告發，皇帝終於等到了復仇的好時機，他將霍家予以族滅，這並沒有違揹他對霍光的承諾，可是霍光保全家人的願望落空了。
班固將霍光與周公、伊尹相提並論，其實霍光算不上忠臣。當然有一點是對的。班固認為，霍光不學無術，不明大理，隱瞞妻子的邪惡逆謀，立自己的女兒為皇后，沉溺於過多的慾望，使覆亡的災禍加劇。司馬光一方面認為霍光對漢朝忠心耿耿，另一方面又自相矛盾地認為，威嚴權柄，只有君王才能享有，如果由臣下享有，長期不歸還君王，則很少能逃脫滅亡的命運。以漢昭帝的賢明，十四歲就能洞察上官桀的奸詐行為，原來可以親理朝政了，更何況漢宣帝十九歲即皇位，聰明剛毅，瞭解民間疾苦，而霍光卻依然長期專擅大權，不知引退，反在朝中廣植私黨，致使君王積蓄怨憤於上，官、民積蓄不滿於下，咬牙切齒，側目而視，都在等待時機發動。霍光自己能夠免禍，已然是僥倖了，何況子孫更加驕橫奢侈呢！
一個攬權不放的人怎麼能是忠臣呢？
司馬光認為，霍氏一族被滅，漢宣帝也有責任。他說：
假如當初漢宣帝專用官階和俸祿賞賜霍光的子孫，使他們富有，讓他們享用大縣的收入，定期前來朝見皇帝，也就足以報答霍光的盛德了；而漢宣帝仍然讓他們主持朝政，授以兵權，等到事態嚴重，這才對他們加以裁奪，以至他們恐懼怨恨，生出反叛朝廷的陰謀。這難道只是霍氏一家自己招致的災禍嗎？這也是漢宣帝醞釀而成的。
真正是書生之見。掃滅霍氏家族這正是宣帝所要的結果。俗話說，君子報仇，十年不晚。你當漢宣帝是聖人阿！