中國古代的明君，往往在晚年出現晚節不保的遺憾，這是君主專制制度的固有缺陷。而這一缺陷最早為人所熟知就是齊桓公晚年霸業的衰頹；之後又在趙武靈王、漢武帝、唐玄宗等雄主身上一再重演。
一 “不務德而務遠略”
葵丘之盟，西方正在崛起的晉國也準備參加，但是路途遙遠，晉獻公沒能及時趕到，遇到了提前回程的宰孔。宰孔對晉獻公說：“不必去了。齊侯不致力於德行而忙於遠征，到處征討，反正是不會打到晉國的，晉侯你還是管好自己國家的事吧！”
宰孔已經看出齊桓公東征西討的後果，那就是國力的過度消耗，總有一天會支持不住，不會永遠對外擴張勢力範圍的。葵丘之盟之後的齊國，終究走上了下坡路。桓公三十七年，王子叔帶作亂，作為霸主的齊桓公按理說應該派兵平亂，可是他只派了管仲和公孫隰朋前去調停，是秦和晉兩個西方的大國派兵平定叛亂。伺候狄人、淮夷又侵擾諸侯國，齊國無力征討，連幫忙遷都都辦不到了。楚國消滅齊國的盟友黃國，齊桓公根本就沒有干預。
這樣一來，齊桓公賴以稱霸的法寶“尊王攘夷”就成了空頭支票。現在的齊桓公，既不能尊王，也無力攘夷，霸業的衰落天下人都看在眼裡。可是齊桓公醉心於自己的霸業，並沒有意識到潛在的危機，而是志得意滿，甚至想要封禪泰山。他在召陵之盟後曾說：“寡人南伐至召陵，望熊山；北伐山戎、離枝、孤竹；西伐大夏，涉流沙；束馬懸車登太行，至卑耳山而還。諸侯莫違寡人。寡人兵車之會三，乘車之會六，九合諸侯，一匡天下。昔三代受命，有何以異於此乎？吾欲封泰山，禪樑父。”
此時齊桓公的心態已經非常狂妄了，要不是楚國的實力強大讓齊桓公意識到無法使用武力讓楚國屈服，估計他真的會去封禪泰山。管仲勸說齊桓公，要得到遠方的奇珍異寶才能去封禪，奇珍異寶實際上無法取得，齊桓公才打消了封禪的念頭。
二 任用“三貴”與悽慘結局
管仲是最後可以阻止齊桓公墮落的人，可是他在桓公四十一年去世，從此齊桓公完全丟棄了創業時的理想，耽於享樂，任用小人，最終下場悽慘。
齊桓公晚年最喜愛的三個臣下，人稱“三貴”，其中易牙是一個廚師，廚藝高明，一次齊桓公對他說：“不知道人肉吃起來怎麼樣。”說者無心聽者有意，易牙把自己四歲的孩子殺掉，做成湯羹獻給齊桓公吃。桓公覺得鮮美無比，問這是什麼肉，易牙哭著說這是我的孩子，那天國君說想嘗人肉的滋味，我就殺掉了他給您品嚐。桓公覺得易牙愛他勝過親骨肉，從此寵信易牙。
第二位名為開方，是衛國的公子，為了討好齊桓公，侍奉他十多年時間，連自己雙親死了都不回國探望。齊桓公認為開方愛他勝過愛自己的父母，也非常寵信他。第三位人稱豎刁，為了入宮侍奉桓公，自己把自己閹割。桓公認為豎刁愛他勝過愛惜自己的身體，也非常寵信他。
管仲病重之時，齊桓公詢問誰能夠接替管仲為相。管仲說：“沒有比國君更瞭解臣下的。”桓公說：“鮑叔牙行嗎？”管仲說：“鮑叔牙好惡過於分明，不適合當相國。”接著齊桓公就說出了內心深處的真實想法，想讓“三貴”當相國。管仲規勸道：“易牙連自己的親生兒子都不愛，開方連自己的父母都不愛，豎刁連自己的身體都不愛，他們做這種違揹人性的事，是為了從國君你手中得到更多。所以不能任用他們。”
但是在管仲死後，齊桓公終究不能剋制自己的慾望，重用專門迎合自己的“三貴”。桓公四十三年（公元前643年），齊桓公病重，“三貴”見有機可乘，就把桓公軟禁起來，各自分別支持桓公的幾個兒子爭奪君位，史稱“五子爭位”。可憐齊桓公一代霸主，活活餓死，死後六十七天無法安葬，以至於屍體生蛆從房間裡爬出來。直到兒子們的內戰告一段落，屍體才得以收斂。
三 霸業的逝去
齊桓公的五個兒子在桓公之後陸續登上君位，期間互相傾軋，骨肉相殘，導致齊國國勢衰落，雖然仍然算是一個大國，但是沒能重現桓公的霸業。而中原秩序的重新確立，由晉文公重耳及其繼承者來主導。
齊桓公開創的“尊王攘夷”的霸業，當時是中國歷史上的一個新事物，具備深刻的歷史影響。學者顧頡剛評論道：“為了周平王的微弱，鄭莊公的強暴，使得中原諸國化作一盤散沙，而楚人的勢力這般強盛，戎狄的馳騁又這等自由，夏、商、周以來積累了千餘年的文化真動搖了。齊桓公處於如此艱危的時局，靠著自己的國力和一班好輔佐，創造出‘霸’的新政治來，維持諸夏的組織和文化，使得各國人民在這均勢小康的機構之下慢慢作內部的發育，擴充智慧，融合情感，整齊國紀，畫一民志，所以霸政行了百餘年，文化的進步真是快極了，戰國時代燦爛的建設便是孕育在那時的。這真是中國歷史上一個該注意的人物！”