海瑞因為和高拱不和，辭官回家後不到兩年，朝廷中風雲再起。張居正鬥倒了高拱，成為內閣首輔和帝國實際上的掌權者，並開始積極策劃變法。
這時，五十九歲的海瑞，彷彿又看到了希望。
在海瑞眼中，張居正是一個出身寒門的人，也是一個有原則的人，不像高拱那樣狹隘。
況且，在很多政見方面，張居正和海瑞有一致之處。比如他們都主張抑制豪強權貴的土地兼併，節約政府開支，興修水利等等。
再加上，張居正雖然在搞變法，他可生怕別人說自己是在變法。他堅決打著“恢復祖宗法度”的旗號，句句不離“太祖舊法”，並硬說自己的種種變法措施，其實都是明太祖朱元璋就已經制定了的，只不過後來被一些昏官給誤解了。
這其實是張居正的一種策略，但海瑞恰好是朱元璋的狂熱粉絲，他甚至希望恢復朱元璋對貪汙犯剝皮的酷刑。聽說張居正一心恢復太祖舊法，海瑞打心眼裡感到高興。
明太祖朱元璋
所以，海瑞把張居正當做自己的知己和同道，他給張居正寫信，表示願意為張居正變法出力，赴湯蹈火，在所不辭。他還很積極地對變法提出了一些具體的建議和措施。
張居正拿著海瑞的信，躊躇片刻。他躊躇的是怎樣回絕海瑞。
這個剛猛的老頭子的能量，他已經見夠了。海瑞的勇往直前、倔強和不顧一切，若是利用來作為攻擊敵黨的工具，倒真是犀利。但也僅有這點用途了。
除此之外，即使海瑞站在同一陣營，也很不保險。畢竟誰也不知道這位仁兄什麼時候精神發作，就會站在正義的立場上對自己反戈一擊，或者不顧整體局勢，做出一些讓人哭笑不得的壯舉。
張居正可不要這樣靠不住的盟友。
所以在回信中，張居正表面上稱讚海瑞的忠勇和剛直不阿，言下之意卻全在打太極，您大才難以小用，我這裡實在容納不下。
就這樣，在張居正當權的十年之中，海瑞一直賦閒在家。六十歲的老人，滿懷報國壯志，卻得不到舒張。海瑞雖然並不貪戀名位，想必也會不爽吧。
所以，民間盛傳著張居正因為徐階的緣故嫉恨海瑞，或者張居正害怕海瑞剛正的流言。
甚至，當萬曆五年張居正父親去世，朝野為了他該不該暫時放下政權去守喪發生爭議時，民間開始流傳了一篇文章，叫做《劾張居正疏》，主要內容就是指責張居正不去為父親守喪，是貪圖權位，不忠不孝。最恐怖的是，據傳這封奏疏的作者，是當時閒居在家的海瑞！
這可了不得。海瑞雖然不當官，但名氣大，不怕死。張居正唯一害怕的大約就是他了。不過張居正也看出，這應該不是出自海瑞的文筆。真實的作者，張居正認為很可能就是一個秀才吳仕期。這個恰好在當時，民間又流傳了一篇文章，叫做《劾張居正疏》，主要內容當然還是那一套，然而最恐怖的是，據傳這封奏疏的作者，是當時閒居在家的海瑞！
這可了不得。海瑞雖然不當官，但名氣大，不怕死。張居正唯一害怕的大約就是他了。不過張居正也看出，這應該不是出自海瑞的文筆。真實的作者，張居正認為很可能是一個之前鬧得最凶的秀才吳仕期。於是張居正授意當地的御史，把吳仕期抓到監獄裡面，又打又餓，活活整死了。
直到萬曆十年（1582年）張居正去世，海瑞始終未得起用。萬曆十三年，七十二歲的海瑞終於再度出山。不過，張居正的學生萬曆皇帝，只是把海瑞當做一個吉祥物，不斷給他升官。對於海瑞的種種建議，則直接忽略。萬曆十五年（1587年）冬，海瑞南京都察院右都御史（正二品）的閒職上去世。為官三十年，官居正二品，他的全部遺產還不夠辦喪事用。
而民間，則流傳有海瑞鬥張居正的傳說。清人小說《海公小紅袍全傳》中，描寫海瑞賦閒多年後，以72歲高齡被萬曆皇帝啟用，適逢張居正專權，海瑞與之鬥智鬥勇，終將其鬥倒，使朝政清明，萬民得安。在本書中，張居正是一個徹頭徹尾的奸臣大反派。歷史上海瑞72歲起用時，張居正已然病死，本書從頭架空，不但將張居正壽命延續多年，且讓海瑞活到百歲高齡。這些荒誕之處，也就不必多說了。
《小紅袍》繡像中的張居正
海瑞死後，南京城數以萬計的百姓，自發為他戴孝，滿城嚎啕大哭之聲，不絕於耳。到出殯的時候，沿江為海瑞送葬的人排了上百里，白茫茫觸目驚心。整整一日，無人離去。海瑞花錢最少的葬禮，其奢華程度卻足以震撼千古。
相比之下，張居正官居一品，大權在握十年，富貴滿堂，死後卻迅速遭到褫奪封號，滿門被抄查，子孫餓死數人。海瑞在身後事這一方面，獲得了完全的勝利。