漢武帝的長子劉據，很早就被立為太子。後來在漢武帝晚年，巫蠱事件之中，劉據自殺身亡。劉據自殺後，他的兩個兒子也同時遇害。當時，劉據已經有了一個孫子，名叫劉病已，也被抓到監獄裡。漢武帝后來赦免了劉病已，劉病已由其祖母養大成人。
影視作品中的漢武帝
漢武帝去世後，漢武帝的小兒子劉弗陵即位，大權掌握在大將軍霍光的手中。劉弗陵身體並不好，在當了十三年皇帝之後，劉弗陵去世，去世的時候並沒有留下子嗣。霍光為了能夠繼續掌權，選擇了漢武帝的孫子，昌邑哀王劉髆之子昌邑王劉賀為帝。但是，劉賀到了長安之後，卻並不願意聽從霍光的擺佈。最終，劉賀在做了二十七天皇帝之後被霍光廢黜了。
霍光廢黜劉賀，也是事出突然。當時，他並沒有找到合適的人選。當時，漢武帝的兒子還有一個在世，這就是廣陵厲王劉胥。霍光不願意一個成年君主在位與自己爭權，所以沒選擇劉胥。漢武帝的三兒子燕剌王劉旦的兒子也還在世。但是，劉旦曾經反對霍光，霍光也不能容忍劉旦的孩子當皇帝。選來選去，霍光選中了來自民間的劉病已，還給他改名為劉詢，他就是漢宣帝。
漢宣帝即位後，霍光立即表示要歸政於漢宣帝。漢宣帝雖說不到二十歲，但是畢竟從民間長大，知道人情世故。他明白，霍光的歸政不過是做做樣子。假如自己接受了霍光的歸政，劉賀就是自己的下場。於是，漢宣帝說自己還年輕，需要多學習，天下事還要由大將軍做主。當時，除了祭祀等事情之外，漢宣帝幾乎什麼都不管。他也十分怕霍光，見到霍光“若芒刺在背”。一直等到六年後，霍光去世，漢宣帝才真正掌握了政權。
影視作品中的霍光
漢宣帝親政後，漢宣帝和霍氏家族之間的矛盾也逐漸開始顯現。在霍光去世後，朝廷的要害部門依然把持在霍氏家族的手中。霍光的女婿範明友擔任度遼將軍未央衛尉，任勝為助吏中郎將羽林監，鄧廣漢為長樂衛尉，趙平為散騎騎都尉光祿大夫負責屯兵事宜，霍光之子霍禹為大司馬，霍光的外甥女婿擔任光祿大夫給事中，霍光的孫女婿王漢為中郎將。親政後的漢宣帝逐漸開始收回屬於自己的權力，先後剝奪了霍家人的領兵之權。
故劍情深
霍家子孫並不甘心就此交出權力，在他們看起來漢宣帝此舉完全是忘恩負義之舉。地節四年（公元前66年），霍家人眼看著漢宣帝的逼迫越來越嚴厲，於是霍家人試圖發動一場政變。關鍵時刻，漢宣帝先下手為強，粉碎了霍家人的陰謀。霍光的全部子孫，無一倖免，都被處死。因受霍家謀反而被殺的人多達數千家，整個朝堂為之一空！漢宣帝親政後，絕對不會允許朝廷之中還有自己不能控制的勢力。霍光經營朝堂數十年，盤根錯節，影響巨大。漢宣帝要想真正掌握政權，也必須清除掉霍光的勢力。
漢宣帝畫像
不過，漢宣帝並沒有清算霍光，畢竟自己是被霍光擁立的。而且，霍光執政幾乎二十年，他的功業也是不容否認的。假如否定的了霍光，漢宣帝自己地位的合法性就會受到質疑。所以，漢宣帝雖然徹底剷除了霍光的勢力，但並沒有否定霍光。漢宣帝還將霍光列為麒麟閣功臣之首，稱之為博陸宣侯，連其名諱都不說。
漢宣帝杜陵
其實早在漢宣帝動手之前，就有人向漢宣帝提出，是不是應該採取一些措施限制一下霍家的勢力？結果漢宣帝對於這個人的建議不置可否，輕輕放過了。等到漢宣帝剷除了霍家勢力，並對有功人員進行封賞之後，原先那個向漢宣帝提出建議的人就找到漢宣帝，他說假如一個人向鄰居提建議應該採取一些措施防止火宅，結果鄰居沒有聽。等到鄰居家真的發生了火災，那些來救火的人都被看成是恩人，而原來那個提建議的人卻受到冷落，不覺著不合情理嗎？其實這個人不明白，漢宣帝並不是不採納他的建議，漢宣帝其實是要徹底剷除霍光家族的影響而已……