朋黨問題是中國政治史上的一個痼疾，它的危害性一言以蔽之，搞不好就會導致一個王朝的滅亡。所以乾隆皇帝對朋黨問題非常警惕。他即位之初，朝中形成了鄂、張兩大朋黨，明爭暗鬥，雖然這個時期朋黨活動跟以前的朝代相比，並不明顯，極為輕微，但是乾隆皇帝的執政風格是防微杜漸，防患於未然，他誓言要在他這一朝，徹底打掉朋黨這個政治頑疾。
在乾隆開始動手前，乾隆十年，鄂爾泰得病死了。於是，乾隆打擊的重點就落在了張廷玉身上。乾隆深知，要打擊朋黨，必須先打擊這個山頭的核心人物，只有這樣才能使這個山頭的人群龍無首，不攻自散。所以鄂爾泰死後，乾隆一直在觀察張廷玉，想抓他的小辮子處理一下。
幸虧張廷玉這個人在朋黨問題上特別謹慎，絕不輕易幫別人說話，也絕不輕易介入各種人事糾紛。他的名言是什麼呢？“予在仕途久，每見升遷罷斥，眾必驚相告曰：此中必有緣故。餘笑曰：天下事，安得有許多緣故。”
但鄂爾泰死後，張廷玉還是越來越害怕，因為他知道皇帝要打擊朋黨，肯定要找他的茬。所以張廷玉感覺，自己退休的時候到了。
乾隆十三年正月，按照宮中的慣例，乾隆宴請大臣，吃完飯後，乾隆和張廷玉聊了會天。七十七歲的張廷玉看皇帝情緒不錯，就提出了退休請求。他說自己“年近八旬，請得榮歸故鄉”（《張廷玉年譜》）。 張廷玉認為乾隆應該會順利批准他的請求。一個是他給乾隆祖孫三代服務了這麼多年，盡心盡力，應該讓他歇歇了。另一個，乾隆現在已經不用他上早朝，所以他認為，乾隆不太需要他這個人了，應該會很高興地放他回家。
讓他萬萬沒想到的是，乾隆沒批准。
為什麼呢？因為雖然乾隆不太喜歡張廷玉，但也並不是完全不需要他這個人。在乾隆看來，張廷玉雖然年紀大了，但是畢竟經驗豐富，留在朝中，給自己噹噹顧問，還是可以發揮餘熱的。萬一有什麼突發事件，乾隆以前沒遇到過的，張廷玉還能給出出主意。
所以乾隆回答說：“卿受三朝厚恩，且奉皇考遺命，將來配享太廟，豈有從祀元臣歸田終老之理？”一心想要急流勇退的張廷玉，馬上回答說，配享的大臣，不見得都得幹到死，比如明太祖就允許劉基回了老家。
張廷玉沒想到，他的這句話一出口，乾隆的臉色馬上就變了，一下子冷若冰霜。原來他引用的劉基這個典故，觸動了乾隆一根敏感的神經。劉基是明初開國功臣，但後來，朱元璋過河拆橋，讓他退休，後來又偷偷派人下毒，把他毒死了。張廷玉提到劉基，讓乾隆敏感了。乾隆認為，這是前兩年不讓張廷玉上早朝，張廷玉心懷不滿，用這個典故諷刺自己對功臣不夠意思。
因此乾隆很生氣，馬上引經據典，拿大道理壓人。他說：為人臣者，當法始終如一之藎臣。如諸葛亮，盡忠一生，此乃人臣之表率。人臣不可存圖逸之心。
張廷玉一聽這話，“免冠叩首”，“嗚咽不能自勝”。七十多歲的白鬍子老頭，跪在皇帝面前痛哭流涕。
乾隆看他這個樣子，也不忍心再說什麼了。
申請退休卻受到乾隆嚴厲批評，被指責為不忠誠，張廷玉當然膽戰心驚，只好打起精神，繼續到朝中點卯。不久之後，孝賢皇后病逝，張廷玉被“罰俸一年”，這個事，更是使張廷玉嚇破了膽。他步入仕途四十七年沒犯過任何錯誤的紀錄就這樣被打破了。乾隆十三年之後，乾隆皇帝性情大變，接下來，他是不是還會受到更大的打擊呢？因此張廷玉日夜提心吊膽，精神總是高度緊張，老得就更快了。到了乾隆十四年，七十八歲的張廷玉牙齒都掉得差不多了，面上到處都是老年斑，腿腳越來越不好使，要是沒有人攙著，已經沒辦法長距離走路了。
張廷玉的身體變化，乾隆當然看在眼裡。他發現乾隆十三年到乾隆十四年這一年，張廷玉老得太快了，思維明顯不如以前清楚，說話有時也顛三倒四了。乾隆心中也不免感嘆歲月無情。乾隆十四年十一月，有一次他召見張廷玉，聊天的時候，關心了一下張廷玉的身體，說，最近身體怎麼樣，我看你老得挺快啊！張廷玉趕緊抓住這個機會，詳細把自己身上的幾種老年病說了說，說皇上啊，我實在是幹不動了。
這一次，乾隆動了惻隱之心。這個張廷玉，固然為人有取巧的一面，但是四十多年如一日為愛新覺羅家族工作，也確實不容易，不如放他回老家去享幾年清福吧。所以乾隆發佈諭旨說：張廷玉這一年老得太快了，因此，特批同意他退休。
張廷玉大喜過望，自己這輩子總算功德圓滿，能得個善終了。
可惜，人的命運往往難於捉摸，就在一切本來都安排得很好的時候，又節外生枝了。這次節外生枝，可以說是張廷玉年老糊塗，自己犯的錯。
申請退休成功之後，張廷玉心中一塊大石頭落了地，但是另一塊石頭卻懸起來了：鄂黨的一位重要人物——大學士史貽直，經常和張廷玉作對。史貽直就經常在乾隆面前進讒言，說張廷玉這個人確實不夠忠誠，又沒有什麼豐功偉績，沒有資格配享太廟。如果自己回老家之後，史貽直在皇帝面前再進讒言，乾隆耳根子一軟，真的取消了自己的配享資格，那可怎麼辦呢？一想到這兒張廷玉又睡不著覺了。
在家中琢磨了幾天，張廷玉終於下了決心，決定豁出老臉，再進宮一次，面見乾隆，請求乾隆做出一個保證，保證他不會推翻雍正的遺囑，讓自己在死後，還會配享太廟。
乾隆十四年十一月中旬，張廷玉冒著深冬的嚴寒，顫顫巍巍地再一次進了紫禁城，跪倒在乾隆面前，說明了自己的這個憂慮，說我這輩子啊，挺滿足，就是一樣，不放心身後的事，因此“免冠嗚咽，請一辭以為券”（《清高宗實錄》）。
這個事讓乾隆十分意外，也十分不高興。自己從來沒有說過不準張廷玉配享，張廷玉卻提出了這樣出格的要求，這明擺著是信不過自己這個主子啊。不過張廷玉畢竟早年做過他乾隆的老師，後來又是顧命老臣，如今哭哭啼啼，跪在自己面前，他不好意思撕破面皮，更何況自己已經答應讓張廷玉退休，那麼幹脆就送佛送到西，讓他高高興興走吧。這樣也能創造一段與三朝元老有始有終的歷史佳話。
所以乾隆就同意，專門發佈一道保證張廷玉以後會配享的詔書。但是張廷玉出宮之後，乾隆一個人坐在那兒越想這個事，心裡越不是滋味，所以他寫了一首意味深長的詩，派人送給張廷玉。詩的內容是什麼呢？
造膝陳情乞一辭，動予矜惻動予悲，
先皇遺詔惟欽此，去國餘思或過之。
可例青田原侑廟，漫愁鄭國竟摧碑，
吾非堯舜誰皋契？汗簡評論且聽伊。（《御製詩文全集》)
這首詩啊，很值得琢磨。前四句很好理解，你到我面前，跪地陳情，請我給你一個保證。這一舉動，令我不免起了惻隱之心。先皇的遺詔，我當然會遵守，你原本不必擔心。但“可例青田原侑廟”，青田，是指劉基，劉基是浙江青田人。他得到了配享資格，同時又曾經退休，所以乾隆說，有劉伯溫的先例，我就同意你退休回。 “漫愁鄭國竟摧碑”，這個典故可就有點不祥了，鄭國是指唐代的名臣魏徵，魏徵被封為鄭國公，生前很榮耀，但是死後，唐太宗翻舊賬，認為魏徵犯了很多錯誤，下令把他墳前的碑給砸了。最後兩句“吾非堯舜誰皋契？汗簡評論且聽伊。”堯舜是有名的聖君，皋契是當時有名的賢臣。這句話是說我算不上堯舜之君，我也不知道，誰可以稱得上是皋契那樣的賢臣？背後的意思即是你原本沒有皋契那樣大的功勞，父皇讓你配享，現在看，你也許不夠格。這兩句詩裡有很大的情緒。
張廷玉興奮之下，看到皇帝的這首詩，也沒太影響心情。按道理說，乾隆皇帝這確實是破例施恩，一般皇帝都不可能同意給大臣寫什麼保證書，所以按朝廷慣例，第二天早上他應該親自進宮去謝恩。可是他年近八旬之人，昨天進宮已經摺騰了一天，太累了，第二天早上他沒爬起來，就命他的兒子張若澄，替他到宮中謝恩。
張廷玉沒想到，這個小小的疏忽，可惹來了大禍。
乾隆原以為，如此施與“特恩”，第二天一大早張廷玉肯定早早前來謝恩，所以乾隆起床後呢，就在那兒等著。誰料跑到宮裡來的，是張廷玉的兒子。本來已經對張廷玉不滿很久的乾隆，心中的怒火一下子被點燃了。
乾隆馬上命軍機大臣寫了一道聖旨，令張廷玉“明白回奏”！
當天寫旨的軍機大臣，是誰呢？恰好是張廷玉的門生，叫汪由敦。汪由敦知道，乾隆皇帝這次發火，可是非同小可，他生怕張廷玉倒大黴，因此連忙派了一個小廝跑到張府，把這個消息傳過去，讓張廷玉好有所準備。
不料這事弄巧成拙，張廷玉不知是老糊塗了還是被嚇糊塗了，犯了一個更大的錯誤：第二天一大早，天還沒亮，他就勉強支撐著，跑到了宮中，跑到乾隆面前，去叩頭請罪。這真是一個再愚蠢不過的舉動了。為什麼呢？因為乾隆皇帝命他明白回奏的諭旨，按理要第二天上午才能發到張家。就是說，諭旨還沒發到家，張廷玉就已經提前知道這件事了。這分明是告訴了皇帝，有人向張廷玉傳遞了消息。
軍機大臣當中，居然有人敢於洩露朝廷機密，乾隆認為，這是再明顯不過的朋黨行為。自己打擊朋黨十多年，沒想到在眼皮底下，居然有人敢這樣幹。乾隆打擊張廷玉，出發點就是要打擊朋黨，不過以前他一直沒抓住真憑實據。現在，就是這個關鍵時刻，真憑實據自己送上門來了，乾隆不會再放過機會了。如果說，在此之前，乾隆對於怎麼處理張廷玉還沒有做出最後決定的話，那麼，這一事實，卻讓乾隆決心必須把張廷玉一黨徹底打散。因此乾隆當面把張廷玉痛罵了一頓，趕出宮中，又花了一整天時間，親自寫了一篇上諭，公佈天下。上諭中說：
今日黎明，張廷玉即來內廷，此必軍機處洩露消息之故……朕為天下主，而今在廷大臣因師生而成門戶，在朝則倚恃眷注，事事要被恩典，及去位而又有得意門生留星替月，此可姑容乎？（《清高宗實錄》）
乾隆宣佈，“著削去伯爵”，以示懲罰。汪由敦呢，也被革去了大學士之職。乾隆索性直截了當地指出，張廷玉實在不應當配享太廟：“試思太廟配享，皆佐命元勳，張廷玉有何功績勳猷而與之比肩乎？”（《清高宗實錄》）
後來乾隆又把歷代配享之臣列了個名單，送給張廷玉閱讀，並讓他明白回奏，你比得上這些人嗎，配得上配享之榮嗎？
乾隆這一問，七十八歲的老臣張廷玉還能怎麼回答？他只好回奏說：
臣老耄神昏，不自度量，於太廟配享大典，妄行陳奏…… 敢懇明示廷臣，罷臣配享，並治臣罪。（《清高宗實錄》）
於是乾隆明令取消了張廷玉的配享資格，把他趕回了老家。張廷玉費盡苦心要平安收場，沒想到，最終卻丟了伯爵和配享兩項榮譽，一生的努力，付之東流。
處理了張廷玉之後，乾隆終於出了一口氣，他如此羞辱張廷玉，就是為了告訴大家，張廷玉已經徹底失寵了，以後誰也別再想攀附他了。果然，滿朝大臣都嚇得噤若寒蟬，張廷玉出京的時候，居然沒有一個人敢給他送行。可見乾隆打擊朋黨，確實是起了作用了。
乾隆十五年春天，張廷玉灰頭土臉地回到老家。地方大員們為了避嫌，沒有一個人出面迎接，只有一位侄子，帶著幾個家人，抬著一頂小轎，把他接進了祖上的老屋。
然而，噩運卻沒有到此為止。朝廷中又出了一件事：他的兒女親家，四川學政朱荃，犯了貪汙罪，被乾隆抓起來了。
這件事發生得真不是時候。一抓起朱荃，乾隆就想到了張廷玉。因為朱荃最初被提拔起來，就是因為張廷玉的舉薦，何況後來張廷玉又和他做了親家。朱荃成了貪汙犯，張廷玉顯然舉薦有誤。乾隆一生氣，決定收回三代皇帝對張廷玉的一切賞賜物品，以示對張廷玉的懲罰。
根據《清高宗實錄》記載，乾隆十五年七月，乾隆派出了一個自己特別信任的人，內務府大臣德保，去執行這個任務。德保出門之前，乾隆特意把他召進宮內，在他耳朵邊祕密囑咐了幾句話。
這一年八月，欽差大臣德保來到了張廷玉家。張廷玉率領全家，跪在門口迎接。他早早就遵旨，把康熙以來，三朝皇帝賞賜給他的一切東西，包括字畫、珠寶以及衣服器物什麼的收拾到一起，打包準備交給德保。誰也沒想到，德保身邊不但帶了十多名隨從，還從知府那裡，借來了二百名士兵。這二百士兵進了張家，不由分說，開箱砸鎖，挖地三尺，抄了張廷玉的家。張廷玉一家人目瞪口呆，只能眼睜睜在旁邊看著。
好在張廷玉的清廉並非虛言。抄了半天家，也沒抄出什麼財產。不過，德保卻帶走了抄家過程中翻出來的所有帶文字的東西，書籍、文章、信件，乃至張廷玉寫的便條，都帶回了北京。
原來，德保出京之前，乾隆在他耳朵邊囑咐的，是到了張家，一定要借查找皇帝賞賜字畫之名，嚴格檢查張廷玉的私人文件及藏書，看看其中有沒有對乾隆的不滿之詞。
把這些文件帶回北京，細細審查了半個月，德保一無所獲，他對這位張閣老不禁佩服得五體投地。張廷玉是一個文臣，進士出身，文人嘛，誰也保不住有心情不好的時候，會用文字發洩一下，也保不住會在書信日記中，品評品評當朝人物，說幾句牢騷話。但是張廷玉卻沒有這樣做。在他的數百封私人書信中，沒有一字涉及政治。張廷玉回家後確實編了一本年譜，即《張廷玉年譜》，不過，在這本年譜中，他只是詳細記載了三朝皇帝對他的“恩遇”“賞賜”，雖然細到哪一天皇帝賞了他幾塊薩其馬，給他一個小荷包，卻沒有一字，涉及對朝政的品評。
雖然逃過了一死，但經過一次抄家，張廷玉的名譽卻徹底掃地了，在政治上已經死亡。經過這場問罪，張黨完全被擊垮了。門生故吏都最終確認，張廷玉在政治上，絕對沒有翻身的機會了，因此樹倒猢猻散，各尋出路，從那之後，再也沒有人敢登張廷玉的門，張黨終於不復存在了。乾隆打擊朋黨，終於以全勝結局。
經過這場打擊，張廷玉徹底灰心喪氣。乾隆二十年，回到家中苟活了五年之後，張廷玉終於死了。
消息傳來，乾隆也感到一絲悲痛。畢竟他們君臣相處了十四年，回想起張廷玉一生的所作所為，他感覺自己對張廷玉確實苛刻了點。畢竟，張廷玉為大清辛辛苦苦工作了近五十年。於是乾隆皇帝又做出眷念老臣的姿態，宣佈寬恕張廷玉的一切過失，仍然命他配享太廟。
到了乾隆四十四年，乾隆曾寫了一篇文章，回憶自己駕下曾經工作過的五位大學士。其中關於張廷玉，乾隆寫了這樣一段話：
張廷玉雖有過，餘仍不加重譴，仍准以大學士銜休致，及其既卒，仍令配享太廟。餘於廷玉曲示保全，使彼泉下有知，當如何銜感乎？