隆慶六年（1572年），明穆宗突然中風去世，十歲的神宗即位。朝中政局風雲突變，高拱在政治鬥爭中被張居正掀翻，明朝最有能力的大臣之一張居正繼任為首輔。
閒居兩年的海瑞，以為自己的另一個政治春天要來到了。因為這個張居正是翰林出身，飽學之士，學問相當精醇，是海瑞的同道，有著推行聖人之學的共同志向。況且，海瑞辭職後，時任閣臣的張居正還寫來一封信，對海瑞表示同情。那麼，這次張居正上臺了，應該起用他海瑞了吧。海瑞日日等待著北京的消息。
遲遲沒有動靜。向來趨左的言官們坐不住了，他們上書，要求起用海瑞。張居正在書上批道：
海瑞秉忠亮之心，抱骨鯁之節，天下信之。然夷考其政，多未通方。只宜坐鎮雅俗，不當重煩民事。
海瑞的品質無可懷疑，然而辦事不能通達。這樣的人只能享受名譽上的尊重，不能任為實職。
雖然同為聖人之徒，張居正為人行事卻與海瑞大有不同。張居正既能侃侃而談聖人之言，又能精通中國社會表面秩序下的真正規則，並且運用精熟。他沒有徐階的天真，認為海瑞能夠為他的班子建立政績，也沒有高拱的陰險，想用海瑞達到什麼不可告人的目的。所以，他不能用海瑞。
直到這時，海瑞才知道自己在官僚政治中的地位和作用。原來，他雖然忠誠骨鯁，時時刻刻遵守聖人之道，可是卻只能“坐鎮雅俗”，做個政治擺設。原因就在於他不肯“通方”，不肯做“鄉愿”，不肯向這個世界妥協。
有生以來，海瑞第一次產生了懷疑：錯了的，到底是世界還是自己？
不知不覺，一轉眼，時間已經過去十五年了。萬曆十年（1582年），張居正去世了。人亡政息，在臺上永遠正確的張居正現在處處錯誤了。萬曆十三年（1585年）正月初十，親政的萬曆皇帝下旨，起僉都御史海瑞為南京都察院右僉都御史。三月，又升南京都察院右僉都御史海瑞為南京吏部右侍郎。
這一年，海瑞已經七十二歲了。孔子七十而不逾矩，他的忠實學生海瑞是否也因為一生的挫折和十幾年的反思而變得聰明瞭呢？是否像朝廷所期望的那樣“平氣虛心，正直而濟以中和，剛方而文以禮樂。擴包荒之度，毋狃意見之偏”，而“將來之建立必有勝於今日”呢？
老驥伏櫪，志在千里。等了十六年，海瑞終於等來了又一個政治春天。還是海瑞一貫的風格。“自瓊臺至蜆崗，家僕皆徒步。有一小童，亦只攜附前輿，不與馬。又自五羊至上新，唯坐一小船，寂寂過，多無知者。”
然而，畢竟久經風霜摧折，七十二歲的海瑞確實少了十六年前的自信。似乎少了一份明朗，多了一些滄桑。說是這麼說，事實證明，這只是他一時的激憤之語，一旦做起事來，海瑞的風格仍是控制不住的火暴。
海瑞上任後，立刻接到百姓對五城兵馬司到處敲詐勒索、強行攤派的控告。所謂五城兵馬司，乃是南京城內的治安隊，自然成為腐敗的高發地帶。海瑞決心拿這裡開刀。他發佈告示說：“五城兵馬司官吏，如狼之貪，如虎之猛，敲詐百姓的膏血，用來迎合上官，自己貪汙。各街巷的人，如果被五城兵馬司侵擾，可以放膽到我這裡來告，本官定為你們做主！做老百姓，不可做刁頑不聽法度的百姓，亦不做軟弱聽人打、聽人殺而不言的百姓。有冤不告，冤何時止？”
一紙告示下達，朝廷明白了，海瑞還是那個海瑞，絲毫未變。“海青天”依然像以前那樣強硬如鋼，歲月不但沒有使他的性格里增加一點彈性，反而使他老而彌堅，老而彌辣。
海瑞還是沒有弄明白官場裡的利益規則，他不知道動了五城兵馬司，就等於動了南京兵部，就等於動了整個南京的官僚網。雖然五城兵馬司僅為六品衙門，卻是可以通天的重要部門。他以為自己以副部級侍郎之威，一個號令就可以解決問題，實在是太天真了。
不僅如此，不久之後，海瑞又上書皇帝，對朝廷吏治表示極大不滿，建議恢復明太祖對貪官剝皮實草的酷刑，以為非如此，官場風氣無法好轉。理所當然，海瑞吏部右侍郎的椅子還沒有坐熱，一紙調令下達，升右侍郎海瑞為南京都察院右都御史。
又一次明升實降。原來，“南京為養望地，官號吏隱。右都雖長御史，稱獨坐，然於諸御史無所短長也，取相引為尊重，他吏治民事無相關者。稍積望歲月，且遷北矣。即京中人從來未知右都御史為誰氏”。
成祖遷都北京後，為了表示對太祖的尊重，在南京設了一系列官職，然而大多有官無職。右都御史更是個可有可無的閒職。名位雖高，實際上什麼事也管不了。年輕的萬曆皇帝在召來海瑞不久就後悔自己年輕沒經驗，犯了個錯誤。他現在終於明白張居正為什麼不起用海瑞了。
也許是人老了，海瑞終於嚐到了灰心的滋味。失望和絕望是不同的，在人生末路上，絕望就意味著對自己一生努力的否定。他終於發現他無法改變這個世界。他給樑雲龍的信中說：“年七十有四，非做官時節。況天下事只如此而已，不去何為！”
一生的雄心壯志終於消泯，他現在可以基本判定自己的一生是失敗的一生。這一生，他吃了常人所不能吃的苦，承受了他人難以想象的壓力，放棄了人生的諸多樂趣。他把自己活生生的生命軋榨成了一塊頑石，卻沒有做成挽狂瀾於既倒的中流砥柱——洪水輕易地把他從一個角落衝到了另一個角落。
他一道又一道上辭呈，希望儘快擺脫汙濁的官場。皇帝卻一次又一次拒絕。皇帝欣賞海瑞的品格，佩服海瑞的勇氣，讚美海瑞的清廉。他可不想承擔放逐清官的罵名。有這麼一個將來可以留名千古的清官在自己的時代，是朝廷的光榮，也是他這個皇帝的光榮。
既然不能求去，海瑞只好做起他的右都御史。只要做了，他就不會做一天和尚撞一天鐘。不論什麼時候，他都學不會敷衍了事，學不會表面文章。其實，海瑞也知道沒有必要做得這樣嚴厲、這樣苛刻。他也知道這樣會招來人們的反感、厭惡、痛恨。他要的就是人們的反感、厭惡、痛恨。他要讓人們知道，雖然你們把我擠到這樣一個閒職，我一樣能讓你們不舒服！越是老了，越是受人排擠，他的官做得越是毒辣，越是矯刻，越是放肆。這裡面，有一股莫名其妙的情緒在。
南京的御史們不堪其苦。雖然彈劾海瑞是一件風險很大的舉動，他們也不得不為之了。萬曆十四年（1586年）四月，御史房寰彈劾海瑞：“謂其蒞官無一善狀，唯務詐誕以夸人，一言一動無不為士論所嗤笑。妄引剝皮實草之刑，啟皇上好殺之心。”
皇帝批覆：“瑞在世廟時，直言敢諫，有披鱗折檻之風；清約自持，有茹櫱飲冰之節。……雖當局任事恐非所長，而用之以鎮雅俗，勵頹風，未為無補。合令本官照舊供職。”
皇帝終於說出了他的心裡話。原來，海瑞是不適於“當局任事”，參與實際權力運作的。但是他適於“用之以鎮雅俗，勵頹風”，也就是說，做一塊官場的門面，用來裝點朝廷，用來讓大家學習其精神。
精神可用來寫到書上，記入史冊，激勵人心，卻不可施用於實際。