不管他的功過如何評判，我們都不能否認這個人的確是一個非凡之人。但是，他的晚景的確淒涼。為什麼一代雄主卻晚景如此淒涼呢？原因就在於一個權字！正是權力使人異化，他才失去了常人之情。
先說他的父子之情。他的長子劉據被立為太子數十年，漢武帝對劉據也非常欣賞。他曾經說過，自己身後最合適的守成之君就是太子劉據。但是，到了後來，越到晚年，漢武帝的猜忌之心越重，他總在擔心周圍的人試圖害他。本來人老了，身體不如以前這很正常，有時候難免會生病，這都是正常現象。但是，漢武帝卻相信一個叫江充的人，江充說漢武帝生病是因為有人要害他，長安城中有巫蠱之氣。也就是說有人用巫術要害他。當時在甘泉宮養病的漢武帝就派江充到長安城中去查辦。江充過去和太子有仇，結果他就跑到太子宮中一通挖，於是就“發現”了太子用巫術陷害漢武帝的證據。而這證據當然是江充陷害的。太子無以自明，憤怒之餘，太子殺了江充。而消息傳到漢武帝那裡的時候，就成了太子謀反。漢武帝立即信以為真，下令有人能捉拿太子封侯。最後太子兵敗自殺。等到兒子死了，他才又清醒了，開始懷念兒子了。其實，他的猜忌是導致兒子死亡的罪魁。而猜忌就來自於他對於權力的貪婪，越是到晚年，越不願意放棄權力，越害怕周圍的人奪取他的權力。
漢武帝六個兒子，次子早卒。在太子死後，老三兒子燕王劉旦立即上書漢武帝，表示要到長安去保護父親。漢武帝大怒，下令殺了劉旦的使者，並且派人到燕國對劉旦進行了一通訓斥。當然，劉旦肯定有覬覦皇位之心。但是，他上書要求到長安保衛父親，難道就不應該嗎？漢武帝絲毫不念父子之情，就是因為他看透了三兒子對皇位的覬覦。
老四兒子昌邑哀王劉髆，也可以說是被父親嚇死的。前面三個兒子退出了權力遊戲之後，最有希望的就是老四了。而且老四的舅舅貳師將軍李廣利，當時權傾朝野。李廣利的兒女親家劉屈氂又是當朝丞相。李廣利也和劉屈氂商量，如何爭取能讓老四登基。結果他們的密謀被漢武帝知道了，漢武帝腰斬了劉屈氂，抓了李廣利的親屬，正在前線作戰的李廣利投降匈奴，結果劉髆就在憂懼之中病死了。
漢武帝的老五兒子劉胥遠在廣陵，這位後來被稱為廣陵厲王的皇子是一位膽敢與熊摔跤的人，文獻記載中稱他能搏熊、扛鼎。漢武帝肯定不會把江山交給他的。
老六兒子劉弗陵在身邊。漢武帝不得已立了老小兒子做太子。
再來說他的女兒。漢武帝早在巫蠱事件之前，就已經以其他的罪名殺了自己的連襟公孫賀一家，而公孫賀還是漢武帝的兒女親家，他的女兒就嫁給了公孫賀的兒子。結果連自己的女兒也一併殺了。
再來說說他的夫妻之情，太子劉據自殺的時候，劉據之母皇后衛子夫就自殺了。其他幾個寵妃，王夫人、李夫人都先他而死。老六兒子的母親鉤弋夫人當時還很年輕，正在漢武帝身邊。漢武帝在立老六兒子為太子後，擔心出現太后掌權從而危及劉家政權的局面，於是他賜死了鉤弋夫人。
其實就個人而言，漢武帝還是一個情感比較充沛的人。但是在權力面前，人性早就被異化了。他總是以懷疑的目光在看待著周圍的一切人。也正是為了權力，結果他的親人都死於非命，以至於晚景淒涼！