漢昭帝八歲登基，但在21歲時就駕崩了，沒有留下兒子。大臣們不得不一起討論該立誰為皇帝。
從血緣關係上來看，首選顯然應該是漢武帝的兒子，當時漢武帝的兒子裡面還在世的只有廣陵王劉胥，但廣陵王品行不好，正是因為這樣，當年漢武帝才沒有把皇位傳給他。 有一個郎官上書說："廣陵王不守正道，不能立為皇帝。當年周太王捨棄太伯而立王季，周文王捨棄伯邑考而立武王，都只是看誰適合當君主。也就是說即使廢除長子而立幼子也是可以的。"
他的話讓霍光聽了很舒服，就把這個人的奏章拿給丞相們看。後來商量來商量去，覺得昌邑王劉賀是個合適的人選，於是奉皇太后的詔令，派人去迎接昌邑王劉賀為帝。
【昌邑王】
昌邑王劉賀是武帝的孫子，由於父親死得早，從小缺少管教，所以養成了一身的壞毛病。他
當上皇帝后成天遊手好閒，只知道和親信們作樂，根本不理政事。霍光看見這種情況心裡非常著急，去問長史（相當於助手）田延年，現在應該怎麼辦。
田延年說："大將軍您是國家的支柱，現在既然知道現任皇帝不行，那為什麼不去向太后說明情況，另立一個賢明的呢？"
霍光問："我確實想過這麼做的，但不知道古代有沒有這種先例？"
田延年說："伊尹當年做商朝相國的時候，因為商王太甲昏庸，於是把他廢掉，以安定社稷，後世都認為他辦得對。如果大將軍能夠做這事的話，那您就是當代的伊尹啊！"
於是霍光在田延年的官職上面又給他加了個給事中的職位，讓他有進宮議事的資格。然後和車騎將軍張安世策劃好，召集大臣們到未央宮議事。
霍光說："昌邑王行為淫亂，我怕他會給國家帶來危害，現在應該怎麼辦？＂
【霍光】
大臣們大驚，誰都不敢說話。
田延年站出來手扶著劍柄說："當年先帝把太子託付給大將軍，就是為了能讓漢室江山長久地保持下去。現在皇上昏庸無能，大將軍也是為了江山社稷著想。如今大將軍還在，還能夠維持下去。今後大將軍死了的話，漢室江山萬一斷送，我們拿什麼臉面去見先帝呢？今天的討論不能有耽擱，誰要是贊成得晚了些，我就請求讓我殺了他！"
霍光向大家謝罪道："你們對我的責備是對的，現在事情落到這步田地，完全是我的過失。"大臣們見事已至此，只好表示贊成霍光的提議。
大家一起去見太后，向她控訴昌邑王的種種惡行。
昌邑王在繼承皇位後，不但不能做個明君，反而罪行累累，光是私底下派人徵調違禁物品就有1127次之多，更別提那些荒淫無道的勾當了。
太后聽了之後非常生氣，趕到未央宮，下令守門的士兵不準放昌邑王手下的人進來。
昌邑王還不知情，像平常一樣來朝見太后，他一進去，門就馬上關上，他的親信就被關在了外面。
昌邑王問霍光是怎麼回事，霍光解釋說這是太后的命令。
昌邑王很糊塗，沒有放在心上。
霍光派車騎將軍張安世將昌邑王的親信全部抓了起來，然後派專人看守昌邑王。而昌邑王到
現在還不知道自己就要被廢黜了，等到太后派人召見他時，他才感到有點害怕。尚書令當著太后和大臣的面公佈了昌邑王的罪狀，並代表大臣進言，要求廢掉昌邑王。然後太后同意了。
昌邑王不甘心放棄皇位，他喊道："聽說天子身邊只要有敢於進言的大臣，即使天子無道也不會丟掉天下！"
霍光反駁道："太后已經下令把你廢黜了，現在哪兒來的天子？！"於是走過去把他身上代表皇帝的飾物卸了下來，轉交給太后。
到了這個時候，昌邑王才徹底接受了現實。
霍光把昌邑王送到他當諸侯王時在京城的住宅。 昌邑王被廢后，霍光召集眾大臣商議立誰為帝，討論了半天，最終大家認為當年被漢武帝廢掉並殺害的太子有個孫子流落民間，在民間口碑很好，決定立他為皇帝，他就是漢宣帝。
漢宣帝沒有辜負大臣們的期望，他帶領西漢王朝進入了又ー個繁榮富強的時期。而霍光為了國家利益毅然廢黜昏君的故事也流傳了下來。
以後往往一提行廢立之事，就拿霍光說事，霍光成了廢立帝王的典型代表了。
