漢武帝在公元前87年去世之前，託孤於霍光、上官桀、金日磾、桑弘羊等人，八歲的劉弗陵（漢武帝第六子）即位，是為漢昭帝。公元前80年，上官桀等人與燕王劉旦聯合，企圖發動政變奪取皇位，被霍光剷除。霍光在此之後，大權獨攬，皇帝成為傀儡。公元前74年，年僅二十一歲的漢昭帝因“病”去世，由於漢昭帝的婚姻受霍光控制，只有一個皇后上官氏，是霍光的外甥女，不能納妃，而上官氏在昭帝去世之時只有十五歲，昭帝無後。之後霍光扶立了漢武帝第五子劉髆的兒子劉賀為帝，劉賀當了二十七天皇帝，被霍光廢除。之後霍光又扶立漢武帝曾孫、戾太子劉據之孫劉病已為帝，是為漢宣帝。漢宣帝即位之時十七週歲，已娶妻生子。霍光向漢宣帝表示要歸政於他，漢宣帝不敢接受，繼續委政於霍光，霍光繼續把持朝政，群臣有事先請示霍光，霍光再上報給漢宣帝。
影視劇中漢宣帝
霍光不只把持朝政，還一如既往的要操縱漢宣帝的婚姻，以保持其外戚身份。他要求漢宣帝立其幼女霍成君為皇后，但漢宣帝不願意，他想讓他貧賤時的妻子許平君為皇后。於是宣帝下了其即位以來的第一道詔書，說他貧賤時有一把劍陪伴左右，現在想把其找回來，讓群臣為自己找回。群臣領會其意，紛紛上書請求立許平君為皇后。霍光也沒辦去強求，於是宣帝立許平君為皇后，但他與許平君所生之子劉奭並沒有被立為皇太子，怕霍光反對。霍光想讓漢宣帝與他的小女兒霍成君生個兒子，然後把霍成君的兒子立為皇太子。公元前71年，許平君再次懷孕，霍光的妻子霍顯，利用女醫官淳于衍在許平君要生產之時將其毒死，並許淳于衍以富貴。皇后被毒死，漢宣帝下令審問醫官，眾醫官全被捕。霍顯怕事情暴露，將自己派人害死許平君的事告訴了霍光，霍光聽後半天說不出話來，最後向漢宣帝上書，請漢宣帝不要審問淳于衍。一個小小的醫官，權傾朝野的霍光專門去保，漢宣帝其實一下子就明白是怎麼回事了，但他只能強忍悲痛，現在還不是發作的時候，現在發作，失去性命的有可能是自己。次年，霍成君被立為皇后，迫於霍光掌握朝中實權，漢宣帝裝作對霍成君很好，但霍成君也沒有為漢宣帝生下子女。
影視劇中霍成君
公元前68年，霍光病死，漢宣帝用皇帝的規格下葬了霍光，但是霍光的妻子還不滿意，霍顯私自將霍光墳墓擴大，超出了帝王的規模。霍顯還重新修造自己的宅第，將其擴造的非常豪華，出門則乘坐只有天子才能用的輿輦，霍家奴婢用只有皇帝才能用的五采儀仗服侍霍顯在家中玩耍。不只如此，霍顯還在家中與霍家家奴馮子都通姦。可以說這是個沒有任何修養、沒有任何道德、甚至是沒有人性的女人，她有的只是無盡的慾望。霍顯在毒死皇后之後，她還想毒死太子，真是自作孽不可活。公元前67年，漢宣帝立許平君所生之子劉奭為太子，霍顯盡顯潑婦本色，盡然認為許平君生的兒子沒資格當太子，只有霍成君生的兒子才能當太子，理由是許平君出身是平民。好像霍家祖上有多高貴似的，比皇帝還高貴，沒有霍去病，霍家還不是草包一個。霍顯讓人下毒，這次漢宣帝吸取了上次的教訓，讓人在太子進食之前必先嚐毒，霍顯沒有得手。這樣的女人已經是不可理喻的了，這也是為什麼霍家會滅亡。霍光是明白事理的，他雖權傾朝野，但他沒有喪心病狂，也沒有篡奪皇位，他是個明白人。在霍光死後，霍家只剩下了一群不知天高地厚，每天飄飄然，不知道自己幾斤幾量、不知死活的東西。他們只會享受，只會仗著霍光的威勢欺負別人，這很像現在的部分官二代，狐假虎威，狗仗人勢，豈不知沒有他老子，他連個屁也不是。所以霍家在霍光死後被滅族，最主要的原因是霍家後繼無人，霍家就沒個明白人。筆者總結霍家被滅族的原因是三無：無德、無才、無腦。
影視劇中霍顯
霍光死後，漢宣帝也看出霍家後繼無人，認為奪回權力的時機已到。他再沒有委政於霍家人，開始親理朝政。漢宣帝首先把人事權掌握在自己的手裡，他讓御史大夫魏相以給事中的身份參與朝中的機密決策，給事中是一個加官，屬中朝，漢武帝時用中朝官奪丞相的決策權，後來又提拔魏相做了丞相；後又任命恩人邴吉為御史大夫。漢宣帝然後逐漸收回了霍家人的兵權，解除了霍光兩女婿鄧廣漢和範明友東宮、西宮衛尉的職務，剝奪了他們掌管的禁衛軍權。又把霍光的兩個女婿調離了中郎將（任勝）和騎都尉（趙平）的位置，讓自己的親信擔任南北軍和羽林郎的統帥。最終把兵權掌握在自己手中。之後，他提拔霍光的兒子霍禹為大司馬，明升暗降，剝奪了他掌握右將軍屯兵的實權。最後剝奪了霍家把控的上書權力，規定吏民上書，直接呈皇帝審閱，不必經過尚書，把霍山、霍雲領尚書事的職務架空起來。通過這一系列步驟，霍家掌握的權力被剝奪殆盡。等待他們的就只有被滅族了。在霍光在世之時，霍家有人事權，有兵權，吏民上書先經過霍光，才能到達皇帝手裡。而現在，漢宣帝先是親理朝政，再掌人事權，其次是兵權，最後將上書的權力也收了回來。霍家人在漢宣帝的來厲風行面前找不到任何理由進行反抗。漢宣帝還運用了明升暗降的做法，先讓你高興一下，然後奪你實權。霍家人不懂得力爭，在權力喪失以後，才反應過來。
影視劇中魏相
霍雲的舅舅李竟在馬伕張郝的建議下，竄掇霍雲和霍山造反，讓上官太后，也就是漢昭帝的皇后、霍光的外甥女下旨，免魏相和許廣漢的職，再把漢宣帝廢除掉，另立皇帝。但這個消息讓張郝的本家張章探聽到了，估計是張郝嘴不嚴，自己說漏的，張章為了升官發財，把這個消息告發給了漢宣帝。漢宣帝抓起了李竟和張郝，但由於沒有得到真憑實據，後來又放了這二人，但以此為藉口，迫使霍山和霍雲辭職。後來，由於吏民直接向漢宣帝上書的路開了，霍家的罪證越來越多，包括霍顯的情夫馮子都在京城為非作歹的事都傳到漢宣帝那裡，估計這個馮子都依仗霍家幹了很多壞事，其中有一件就是馮子都帶人打到魏相府中，要拆了魏相家的大門，還讓眾官員跪地求饒才罷手；還有霍家那些女人們把皇家後宮當成了她們自己家，隨便進出，也沒有什麼禮節，因為霍光的外甥女是上官太后，霍光的女兒是皇后；還有霍顯毒殺許平君的事在民間已經傳的沸沸揚揚。當霍家人聽外邊傳說是霍顯毒殺了許平君後，問霍顯有沒有這回事，霍顯只得承認，於是他們家決定集體造反。他們計劃讓上官太后邀請劉詢的外祖父許廣漢和魏相吃飯，然後藉機殺掉二人，再罷黜劉詢，由霍禹當皇帝。然而這件事再次傳到了張章耳中，這不能不說漢宣帝高明，上次張章向漢宣帝告祕，漢宣帝並沒有對霍家動手，那是因為證據不充分，霍家的人也沒有全參與進來，所以漢宣帝沒有暴露張章這顆棋子，張章一定有他的渠道，能探聽到霍家的機祕，這個很重要。而霍家子弟的無才讓人不得不服，這麼重要的事一再洩祕。掌握了霍家全家要謀反的證據後，漢宣帝這一次出手了，他已控制軍隊，霍家很容易就被拿下了，《漢書》記載：“秋七月，大司馬霍禹謀反。詔曰：乃者，東織室令史張赦使魏郡豪李竟報冠陽侯霍雲謀為大逆，朕以大將軍故，抑而不揚，冀其自新。今大司馬博陸侯禹與母宣成侯夫人顯及從昆弟冠陽侯雲、樂平侯山、諸姊妹婿度遼將軍範明友、長信少府鄧廣漢、中郎將任勝、騎都尉趙平、長安男子馮殷等謀為大逆。顯前又使女侍醫淳于衍進藥殺共哀後，謀毒太子，欲危宗廟。逆亂不道，鹹伏其辜。諸為霍氏所詿誤未發覺在吏者，皆赦除之。八月己酉，皇后霍氏廢。”這次大清理，據說被殺了一千多家，霍家只剩下21歲的皇后霍成君，同年八月，霍成君因圖謀毒殺太子的事，被廢除皇后並送到長安郊區上林苑中陽臺宮。公元前54年，再把她送到雲林館，33歲的霍成君在此自殺。可憐霍成君成了政治鬥爭的犧牲品，也許她是無辜的。
惡行累累的霍光後人，被漢宣帝滅族。
影視劇中霍光