劉賀被冊立為昌邑王十三年後，趕上昭帝去世。在霍光的主持下，朝臣迎立劉賀，繼承大漢王朝的帝位。但僅僅即位二十七天之後，就以“行淫亂”的罪名，廢除其帝位，賜歸故國
說是年紀輕輕的劉賀繼承了父皇的爵位，到了封地，而那個時候劉髆的弟弟也就是劉弗陵在八歲的時候就成為了皇帝，史稱漢昭帝。可是漢昭帝在21歲的時候就死亡了，而且在他之下也沒有孩子能夠來繼承皇位，當時的漢武帝一共有六個兒子，但是除了劉賀之外除了死了的幾個哥哥，還有條件不合適的人，最終只能由劉賀來繼承。
公元前87年漢武帝選擇了最年幼的劉弗陵（漢昭帝，年僅7週歲）繼承皇位，並安排霍光、金日磾（dī）、上官桀共同輔佐。主幼臣強，小皇帝劉弗陵一開始就在夾縫中，霍光開始把持朝政。劉弗陵在位13年後去世，沒有留下一兒半女。公元前74年，經霍光同意，昌邑王劉賀被選為皇位繼承人，劉賀當時18歲，在今山東鉅野縣繼承父爵，逸游自恣，為所欲為，資治通鑑記載“在國素狂縱，動作無節”。
史書記載，劉賀在自山東奔赴長安登基的路上，表現得相當猴急，提前搶民女，並蒐羅善於打長鳴的雞等等這些玩物，很失皇家禮儀。即皇帝位後，劉賀先安排昌邑官署人員，自然把霍光等人晾在一邊。這屬於大忌。霍光是什麼人？本來霍光已牢牢把握朝政，請你劉賀來，就是先充個門面而已，不配合演戲那還行？經霍光授意，大臣們給新天子羅列了1127件荒唐事，平均每天40件，是不是夠滑稽的。不知現在海昏侯墓中的書簡是否可以還原真實的歷史？
劉賀即位27天后被廢，回山東繼續當昌邑王。霍光此時選中了前皇太子劉據唯一倖存的孫子劉病已（又名劉詢，前91年―前49年），讓他繼承皇位，這就是後來的漢宣帝。說起來，霍光是霍去病的同父異母弟弟，霍去病是衛青的親外甥，衛青又是前皇太子劉據的親舅舅。這麼一論，劉病已應該管霍光叫姨爺爺。姨爺爺霍光經過這麼一廢一立，權威立顯。劉賀坐27天皇帝的過程，只是他其中的一步棋而已。當然權力也是把雙刃劍，霍光登峰造極的權勢也為身後的霍家子孫埋了一個地雷，那是後話。
史書記載，劉賀被廢的主要原因是他淫亂，不守禮法，包括什麼奔喪途中違反各種規定好似旅行啦；到長安城外應該哭喪，劉賀卻說嗓子痛，哭不出來啦；即位之後，又行淫亂，沉湎於酒色啦……總之各種不靠譜，以至於在廢黜時，皇太后聽取大臣彙報，羅列他的斑斑劣跡，都聽不下去了，直說“夠了”！
當然，事實果真如此嗎？恐怕不完全是這樣，因為歷史是勝利者書寫的，對於被廢的劉賀而言，歷史的記載免不了有醜化渲染的成分。
根本上來說，劉賀被廢還是權力鬥爭的結果，從劉賀即位後的一些舉動來看，他貌似在著手恢復皇帝權力，自然引起了霍光的警惕和不滿。這應該是霍光廢劉賀的主要原因。
從廢立的過程來看，幾乎也是霍光的個人權勢在主導。霍光先是私下與車騎將軍張安世密謀廢立之事，而後在未央宮召集群臣會議。當提出要廢皇帝時，事出突然，嚇得沒人敢表態，這時霍光的親信田延年拿著劍站出來說：“今天的事情得當機立斷，誰不趕緊表態，我就把他給斬囉！”震懾之下，大臣們只得紛紛叩頭，表示聽從大將軍安排。
劉賀被廢后，武帝曾孫，“巫蠱之禍”後倖存下來，長於民間的劉洵（初名劉病已）被擇立為帝。霍光之所以選擇劉洵，自然還是覺得他容易控制。