宋高宗趙構當初令岳飛北進，並非想光復宋朝江山，只是指望他擊退金軍南侵，保住半壁江山與自己的皇位，岳家軍的接連勝利已經為南宋取得議和的籌碼。同時，趙構擔心金軍在戰局不利的情況下，可能主動求和，放還擄去的父兄徽宗和欽宗，進而與自己爭奪皇位。這擔心並非多餘，前朝唐肅宗接回父親玄宗就把他軟禁至死；後來明朝景泰皇帝接回被蒙古俘虜的兄長英宗，軟禁於南宮，最後仍被他發動“奪門之變”復辟篡位。
因此，趙構下令岳飛“措置班師”，“不許深入”，一日連下十二道金牌，催促岳飛立即班師。即使這樣，岳飛為了保護中原百姓南遷，下令部隊駐留五日，延誤了回朝的期限，讓皇帝很沒面子。
此前，岳飛抗旨拒絕屠城已讓趙構心懷不滿。南宋小朝廷把農民反抗鬥爭看作比金軍入侵更危險。在金兵暫時撤退以後，高宗立即把大將韓世忠、劉光世、張俊、岳飛等從抗金前線調離，分頭去鎮壓各地的農民起義。各路將領鎮壓合共數十萬的農民軍，屠戮殆盡；唯獨進攻江西、福建、廣東一線的岳飛以勸降和招安為主，也不搶掠。高宗傳下密旨，要岳飛血洗虔城，為隆佑太后曾在虔城受“震驚”洩憤。岳飛認為無辜之民何罪之有？拒不執行，幾次上書堅持己見，高宗不得已讓岳飛自行裁決。
此外，宋趙康胤通過“陳橋兵變”奪取天下，宋朝防武將防得最嚴。
1141年四月，趙構以犒賞軍功為藉口，把張俊、韓世忠和岳飛召到臨安，任命張俊、韓世忠為樞密使，岳飛為樞密副使，名為升官，實際解除他們的兵權。七月，秦檜的死黨万俟卨秉承上意，彈劾岳飛。岳飛意識到自己處境險惡，上書辭職，懇求高宗“保全於始終”放過自己，但高宗對岳飛的厭惡由來已久，根本沒打算手下留情。八月，岳飛被罷免所有官職。九月，秦檜收買岳飛的部將王俊和王貴，誣告岳飛謀反，投獄。
十一月，南宋與金國簽訂《紹興和議》，接受稱臣、割地、納貢等屈辱條件。同時，金國代表還提出以殺害岳飛作為議和的條件之一。對外軟弱無能、喪權辱國，對內殘酷鎮壓、斬盡殺絕，是歷代王朝的寫照。
1141年十二月二十九日，趙構不惜違背趙匡胤“不殺大臣”的祖宗家法，下旨以毒酒賜死岳飛，張憲、岳雲斬首。
高宗明白岳飛冤，殺他問心有愧，所以孝宗即位替岳飛平反，當時高宗還在世，應該說還是高宗的主意。
歷代功臣沒有好下場的大有人在，漢高祖劉邦、明朱元璋殺戮開國功臣的事人盡皆知。再看明朝那些事：率軍抗擊蒙古的兵部尚書于謙被複位的明英宗所殺，當初于謙是主張景泰皇帝迎接英宗回國的。一代名將胡宗憲納降大海盜張海（並背信棄義殺之）和曾在日本稱王的汪直，剿滅倭寇立下汗馬功勞；胡總督是嚴嵩的義子趙文華提攜的，但長期帶兵在外，鮮有參與朝政，嚴嵩父子倒臺，他依然逃不過被清洗，最後在獄中自殺。與岳飛一樣，袁崇煥也是文韜武略，讓敵人聞風喪膽，清世祖努爾哈赤就是在與袁崇煥作戰時受傷斃命的；最後袁崇煥被自己所效忠的皇帝崇禎凌遲處死。
回過頭來，岳家軍強盛時期，佔了南宋總兵力的四分三。岳飛如果要實現直搗黃龍、進軍汴京、收復山河的抱負，如果意識到身處險境，在兵荒馬亂、內憂外患之際，完全可以擁兵自重，甚至廢了趙構自己來當皇帝或者扶植個傀儡皇帝。“精忠報國”不等於報效皇帝和朝廷。