1997年，19歲的張譯考進戰友話劇團，到團裡的第一天，他同宿舍的戰友在日記裡寫到：今天來了一個新戰友，叫張毅（原名），這人很不好相處，不跟我們說話，經常趴在那裡不知道寫些什麼東西——此人要防著。
除了不愛說話，張譯又黑又瘦，脖子長，長相可以說是非常普通。團里根本沒想把他當演員培養，而是讓他做速記員，因為他寫字快。團裡開大會，要做記錄，他是最佳人選。還有就是下連隊演出的時候要臨時寫一些主持人的串詞，張譯馬上就能寫出幾句來。
有時團裡的話劇、電視劇缺人，張譯偶爾也會去跑個龍套，基本沒有臺詞。有一次演話劇，他扮演普通村民，他覺得就這麼呆呆站著好像太不真實了，於是就試著給自己加戲，排練時臨場發揮踢了另一個演員一腳，結果被導演臭罵一頓。
不過張譯還是很想演戲，平時沒事也偷偷地練，終於有了個機會，團裡排練話劇《愛爾納·突擊》（後來改成電視劇《士兵突擊》），張譯被選為這個話劇中“袁朗”的B角，所謂B角，就是替補，正角萬一有個頭疼腦熱上不了場的時候，換他上去。但是這個劇演了那麼多輪，從來輪不到張譯上場。於是他又在劇中充當了群眾演員、畫外音，以及場記。雖然如此，張譯還是很珍惜這個機會，每晚排練結束，他都是最後一個走，假裝鎖門，不開燈，自己在舞臺上把整場戲再演一遍。
整個演出結束後，導演喝多了酒，臨別之際摟著張譯的肩膀說了幾句真心話：“兄弟你就別往演員這條路上奔了，你不能再演戲了，你演戲就是個死啊。”
那段時間張譯真的是死的心都有了。團裡有個新劇，導演找他演男三號，沒想到過幾天那個女導演就被開除了，張譯不但沒演上戲，領導還開會拐彎抹角批了他：“我們看上的演員她都沒有用，不會演戲的她倒都用了，王八瞅綠豆，對眼了。”這個戲，團裡的演員就只找了他一個，張譯心裡想，那“王八”除了他也沒別人了。然後領導又讓他做了這個戲的場記。
他的老師彭澎倒是一直鼓勵他，有一次排了一個小品，四個演員中就有張譯，結果其他三個演員都拿了獎，張譯的角色不討喜，沒拿到獎。但是彭老師沒敢告訴他，這個戲其實是專門為他排的。為此他還深感內疚，覺得欠了張譯一個獎。
張譯情緒低落的時候，彭老師也罵過他，告訴他再小的角色也得用心。罵完後更多的是鼓勵。中間彭老師曾被調走，張譯跟在後面一邊走一邊哭，因為這個團裡只有彭老師還能讓他有一點做演員的自尊心。
2003年，張譯想過放棄表演，改行做編劇。寫到盡興的時候，他把自己感動到深夜裡跪在地上痛哭。然而，已經寫了18集的電視劇本，本來團裡要用的，結果因為種種原因最終未能投拍。
2004年，張譯接到了一個電話，電視劇《民工》找他演主角，之前跑劇組的時候他留的一張照片被副導演看到，照片上的他其貌不揚，看起來黑黑瘦瘦，有些土氣，剛好這個戲要找的就是這麼個形象的人，所以就選中了他。
這個劇的導演是康洪雷，他很看好張譯這個角色，知道張譯齣戲慢，特意備了超出正常演員3倍的磁帶，等他慢慢演、慢慢拍，一場十幾分鐘的戲拍了一整個下午。戲拍完，康洪雷從背後把張譯整個抱住，這讓張譯感動至今。
當然機會難得，加上導演這麼愛護他，張譯也玩命地投入，這個角色演得很成功。一年後，康洪雷邀張譯參演《士兵突擊》。因為拍攝時間與團裡的任務衝突，在脫軍裝和去拍戲的選擇中，壓抑太久的張譯交了轉業報告。這時，離他進入部隊已經過去了10年。
《士兵突擊》播出後大火，主演王寶強、陳思誠、段奕宏大紅，張譯演的班長史今也給人留下深刻印象。有一天他穿著大褲衩出門買雞蛋，被人認出來後，轉身就跑，女孩在後邊猛追，結果跑得太急，雞蛋在樹上撞碎了，張譯繼續跑，蛋液滴了一路。
2014年，張譯出演陳可辛執導的電影《親愛的》，憑藉韓德忠一角，獲得第30屆中國電影金雞獎最佳男配角。領獎時他說了17個感謝，其中就包括彭老師。
不久之後，彭澎老師因為開胸手術住進了醫院，張譯去看他，離開醫院前，他把金雞獎的獎金留給了師母，什麼也沒說。彭澎知道後用紙把錢包好，寫上“張譯的獎金”，一直保存著。