一九三八年三月二十四日，日軍士兵澀谷升日記：
上午六時，向臺兒莊前進，第五中隊機槍隊在右側第一線，總隊部向鐵路敵陣開始進攻，敵兵約數千，第五中隊呼應總隊部向敵陣進攻，受敵方猛烈射擊，不支伏於麥田，谷川君戰死，第三小隊之見澤君去向不明，中倉、中原兩君受傷。接著，向鐵路東西面村落夜襲。小隊長下令，各兵要抱死心。敵方以捷克機關槍猛射，我伏在地上，立在前面之森君中彈即死，黑川君亦中彈倒地，金田君負傷。戰車隊向南面驀進，展開肉搏戰，小隊長負傷。因敵兵甚多，我軍含淚而退，馬十匹倒地，經理部長戰死，其他死傷不少。敵方發射愈猛，我中隊不能與總隊部取得聯絡，約歷一夜，川穀君戰死。
這個名叫澀谷升的日軍士兵並不知道，他在中國戰場上的地獄般的經歷才剛剛開始。
臺兒莊位於山東嶧縣東南，北接津浦路的臺棗支線（臺兒莊至棗莊），南臨隴海鐵路，西南距徐州五十多公里。大運河從莊南流過，水深兩米多，自古便是魯南的水陸碼頭。臺兒莊名為“莊”，實際上是一座有環繞寨牆並有六個寨門的市鎮，寨牆雖兩丈餘髙卻由磚土砌成，六個寨門分別是：西門、西北門、北門、東門、東南門、南門。城北是一片開闊地，矗立著大小碉樓數十座；西面是鐵路；東面散佈著村莊。
第五戰區司令長官李宗仁後來記述，他對日軍狂妄地孤軍深入是有所預見的：“我當時的作戰腹案，是相機著湯軍團讓開津浦路正面，誘敵深入。我判斷以敵軍之驕狂，磯谷師團長一定不待蚌埠方面援軍北進呼應，便直撲臺兒莊，以期一舉而下徐州，奪取打通津浦路的首功。我正要利用敵將此種心理，設成圈套，請君入甕。”由此，李宗仁擬定的作戰計劃的要義是：湯恩伯部提前集結於嶧縣以北，臺兒莊防禦僅僅是正面阻擊和牽制，待沿臺棗支線南下的日軍被阻擋在臺兒莊時，湯恩伯部將從日軍的側背突然發起攻擊，壓縮並殲滅日軍於微山湖畔。這計劃的合理之處在於：南下冒進的日軍兵力不多，且深入了中國軍隊陣線的腹地，只要不讓日軍很快地衝過去，在湯恩伯部主力的包抄側擊下，冒進的日軍定會陷入進退兩難的境地。這時候，只要中國軍隊勇猛出擊，緊密配合，完全可能給予南下的日軍以重創。——這個先把主力藏起來，然後再殺回來的戰術，被李宗仁稱為“軸迴旋”。
令中國官兵印象深刻的是：日軍向臺兒莊進擊的兵力並不多，但是在接敵的第一天，騎兵連和加強步兵連就有百餘人陣亡，且多是陷入包圍後被日軍屠殺的。日軍殘暴而凶悍的殺傷力，令必須主動接敵的第三十一師官兵有了隱隱的不安。
三十一日清晨，日軍的炮擊前所未有地猛烈，二十多門大口徑野炮集中轟擊，猶如要“令臺兒莊化為灰燼”。上午九時，大批日軍湧入莊內，中國守軍一八六團損失殆盡，一八五團奉命上前接替。在臺兒莊外圍，第二十七師在劉家湖附近反覆與日軍廝殺，那些配屬給他們的戰車防禦炮也全都投入了戰鬥。——“激戰至正午十二時，敵復以步騎炮聯合部隊約三四百名，戰車八輛，圍攻我郭團（一五九團團長郭金榮）守備之岔路口陣地。我官兵沉著抵抗，與敵死拼，斃敵甚重，敵仍猛進不退，遂發生肉搏戰，殺喊之聲撼動天地。時我戰車防禦炮將敵戰車擊毀三輛，突受敵重炮還擊，我戰車防禦炮兩門被擊毀。我傷亡官兵三百餘名。”
這天傍晚，臺兒莊北門寨牆已坍塌成一片平地，無法封堵的巨大缺口使城外的日軍蜂擁而入。進入臺兒莊的日軍沿著每一條街道與中國守軍肉搏。待天色完全黑下來時，一條條火舌向中國守軍席捲而來，日軍使用了火焰噴射器以掃清中國守軍的阻擊。臺兒莊滿街都是中國守軍設置的障礙物，一處障礙物燃起大火，守軍官兵就退至另一處，他們投出的手榴彈下雨一般從日軍的頭頂上落下。至午夜時分，臺兒莊全城都在燃燒，沖天的火光照亮了整個魯南天空。
第三十一師師長池峰城致電李宗仁，稱他的部隊正做“最後之攻擊”，若不能成功“即自殺以報國家”：
本師昨夜做最後之攻擊。官兵勇敢用命，冒最大犧牲，卒將城西北角盤踞之敵殲滅大半。殘敵仍據要點頑抗。我康副師長負傷，官兵傷亡三百餘。刻城內之敵除西北角少數外，東南半部仍為敵據。頃間，官兵百餘人義憤填胸，自報奮勇復仇殲寇，不成功即自殺以報國家，決不生還見我長官，悲壯激昂。師今夜為沉痛之格鬥。今午前敵炮仍在猛轟，寇機十一架狂炸西關，北站漸成焦土。
第二天，四月一日，臺兒莊內無大戰。
交戰雙方都已精疲力竭。
那個名叫澀谷升的日軍士兵還活著：
上午六時火葬屍體，八時開始進攻，死傷者全部送至後方，下午佔領和尚寺一所，全員進駐該寺，準備明天戰鬥。敵機投彈於該寺附近，石倉君中彈重傷，重機關槍分隊長亦中迫擊炮而斃，第三分隊戰死三名，重傷一名。
孫連仲，一八九三年生於河北雄縣。雖家境殷實，不必當兵，但他立志從軍，一九一二年入北洋軍第二鎮八標二營八連任學兵。北洋陸軍各鎮在清帝退位後改為師，孫連仲被選入馮玉祥部第十六混成旅炮兵營任班長。他身材魁梧，膽識過人，曾在護國戰爭中一人扛著二百多斤的山炮帶著他的部隊包抄對手後路。因作戰沉著勇敢，由營長、團長、師長、軍長一路升遷，至北伐戰爭時已是方面軍總指揮。盧溝橋事變爆發後，作為第二十六路軍總指揮，孫連仲要求他的官兵“報效國家、挽救危局，以盡軍人天職”。他率部奔走於北平南部、河北涿縣、山西娘子關戰場，及至奉命堅守臺兒莊，孫連仲面對的是他投身行伍以來前所未有的嚴酷考驗。
孫連仲親自進入臺兒莊內，在守軍苦撐著的東南一隅督戰。他把右翼作戰不利的一名旅長撤了，當眾槍斃了左翼一名貪生怕死的營長，然後開始組織敢死隊。當跟隨著孫連仲的軍需官把身上僅剩的大洋分給敢死隊員的時候，敢死隊員們把大洋扔在地上說：“我們以死相拼，為的是報效國家，不是為了幾塊大洋。”孫連仲見狀不禁放聲大哭。
先鋒敢死隊數百人，分組向敵逆襲，衝進敵陣。人自為戰，奮勇異常，部分官兵手持大刀，向敵斫殺，敵軍血戰經旬，已筋疲力盡，初不意至此最後五分鐘，我軍尚能乘夜出擊。敵軍倉皇應戰，亂做一團，血戰數日為敵佔領的臺兒莊市街，竟為我一舉奪回四分之三，斃敵無算，敵軍退守北門，與我軍激戰通宵。
三日一大早，日軍第十聯隊向第二十七師陣地發射了兩千餘發炮彈，陣地工事連同附近的村落皆被夷為平地。然後，在四十多輛坦克的掩護下，日軍步兵不顧一切地向臺兒莊方向突擊。第二十七師連日血戰，傷亡慘重，能夠作戰的官兵已不足千人，致使日軍相繼衝入園上、孟莊、邵莊等村莊，第二十七師僅剩的官兵不得不用身軀與凶悍的日軍展開決死拼殺。在彭村防禦的是王景山營長指揮的營部和五連，當日軍衝進村莊時，王營長赤裸著上身對官兵們喊：“今天是本營長和全營殉職報國的最後一日，只有殺敵，不計生命！”官兵們跟著王營長死拼不退，及至全部戰死。王營長一人砍殺日軍十二人，最後身中數彈倒地。——“敵恨之刺骨，死後猶被敵亂刀肢解。”
蔣介石終於忍無可忍了：
臺兒莊附近會戰，我以十師之眾，對一師半之敵，歷時旬餘，未獲戰果，該軍團各居敵側背，態勢尤為有利，攻擊竟不奏功，其將何以自解！即應嚴督所部，於六七兩日，奮勉圖功，殲滅此敵，毋負厚望，究竟有無把握？仰具報！
蔣介石很少對中央軍嫡系部隊將領如此質問連帶斥責。既然委員長要求他“毋負厚望”，湯恩伯立即回覆蔣介石，說他“已嚴令各軍速向臺兒莊攻擊前進”，今明兩天就能將當面日軍“壓迫於臺兒莊北岸而殲滅之”。
五日當晚，湯恩伯指揮的部隊全線進入攻擊地域，並隨之向當面日軍發起了攻擊。日軍阪本支隊的後方完全被湯恩伯部切斷，其所需給養必須從瀨谷支隊那裡獲得，而瀨谷支隊在臺兒莊戰場的正面，阪本支隊在臺兒莊戰場的東北方向，日軍自此開始出現混亂。
毫無疑問，日軍如果從臺兒莊敗退，將是日本陸軍史上的恥辱。因此，無論當時還是戰後，日本戰史對一九三八年四月五日臺兒莊戰事的敘述始終含糊其辭。據說，阪本支隊接到了第五師團的撤退指令。——日本人從來不願意使用“撤退”一詞，就像他們給侵略找出過一個又一個替代詞一樣，他們把撤退一律叫作“轉進”：“支隊迅速殲滅當面之敵後，應即轉進攻下沂州”。這就是說，第五師團的阪本支隊，不能與第十師團的瀨谷支隊一起，冒著陷入中國軍隊重圍的危險，繼續在臺兒莊附近待下去了，應迅速向臨沂方向撤退。
日軍士兵澀谷升也在撤退的行列中：
與林原君兩人舁足立君之屍體至收容所，途中迫擊炮紛紛飛來，非常擔憂。屍體舁至火葬場時，敵彈愈射愈烈，我伏於望遠樓中。稍待，大隊部再次中彈三名，第八中隊八名亦倒斃，第三小隊亦舁屍體前來。下午七時，收拾死傷兵之槍支，大隊部無法支持，退至河浜附近，敵彈愈射愈猛，犧牲數百人之生命佔領之場所又被敵方奪去。我隊含淚跟隨大隊部後撤，退卻時向戰死者暫告惜別，且將所有房屋放火焚燒。
六日，日軍的撤退倉皇而狼狽，大量的屍體和軍用物資丟棄在臺兒莊內外。池峰城的第三十一師殘存官兵，以密集的火力和手榴彈封鎖日軍撤退通道，大量日軍在撤退時被擊斃，一些終無法衝出的日軍開始自殺：“臺兒莊城內之敵，時有猛烈之戰鬥，二十時頃，將文昌閣之彈藥及炮等舉火自焚，敵兵投火者百餘名。東北之敵已肅清，其東南之殘敵亦舉火自焚，致東南之房舍為烈焰所吞沒，我官兵亦傷亡。時有潛匿掩蔽之敵，經我招降未效，遂投火焚殺之。凌晨四時，臺兒莊遂完全收復，已一片焦土矣。”
四月七日，李宗仁下達了全面追擊的命令。
七日，湯恩伯的第二十軍團第五十二軍主力，在底閣、楊樓一帶與日軍激戰後將其擊潰；第八十五軍第八十九師主力攻擊大顧柵；第四師和第八十九師各一部聯合攻擊關莊、辛莊等地。孫連仲的第二集團軍衝出臺兒莊後繼續追擊，一七五團相機佔領邵莊和裴莊，一八二團佔領了劉家湖。同時，孫震的第二十二集團軍渡過運河後向韓莊發起追擊。孫桐萱的第三集團軍第五十五軍則在嶧縣以北堵截著日軍。當晚，瀨谷支隊撤到嶧縣附近固守待援。
日方統計，臺兒莊作戰，第五師團戰死一千二百八十一人，負傷五千四百七十八人；第十師團戰死一千零八十八人，負傷四千二百三十七人。日軍總計傷亡過萬，但“甚少被俘”。
臺兒莊勝利的消息，颶風一般迅速傳遍全中國。
“日軍畢竟不是不可戰勝的。新的抗戰希望將過去的悲觀情緒一掃而光。這場勝利使人們自戰爭爆發以來第一次感到歡欣鼓舞。”
……在每個人的手裡，都拿著一張各報館臨時出的號外，在每個人的嘴邊，都掛著無限的歡笑，逢著人就說：“臺兒莊我們大獲勝利，消滅敵人精銳部隊一萬多，你知道了沒有？”家家戶戶都懸起了國旗……震人的鞭炮聲自始至終不斷地響著，這裡停了，那裡又響起來，那濛濛的煙霧和腥辣的火藥味，像帶著驕傲和光榮，永遠飄浮在空間……下午七時，在武昌，一萬餘人集合在公共體育場；在漢口，二萬餘人集合在特三區江邊、運動場，一萬餘人集合在中山公園，又覆在府西一路會合，每個人手裡執著一個火炬，熊熊的火焰照見了每個人臉上浮著的異樣光彩……“啊，今天，四月七，興奮了我們，刺激了我們，鼓勵了我們，又給予了我們一個信念，長期抗戰下去，我們一定會獲得最後的勝利。”……（本文節選自《抗日戰爭》，人民文學出版社）