而從至元十三年七月開始，元軍對於各地抵抗宋人的鎮壓也一日緊似一日。七月，在李庭芝、姜才率部離開之後，守將朱煥獻揚州城投降，李庭芝、姜才未能擺脫追兵，被困於泰州；大將阿術攻破泰州，李庭芝、姜才被俘；阿里海牙攻破嚴關（今廣西興安西），馬墍兵敗退守靜江（今廣西桂林）；李恆擊敗宋軍吳浚所部於南豐。八月，吳浚再敗於元軍，退往寧都；李庭芝、姜才在揚州不屈遇害。
在這一片戰敗的緊急時刻，作為流亡政府的中樞，不但沒有什麼居中調度挽回頹勢的舉措，反而只想著互相碾軋。見文天祥聚兵成功，擔心離朝廷所在地太近會導致“干預朝政”，便下令讓文天祥去交通不便的汀州（今福建長汀）。文天祥顧全大局，於十月率部南下。到汀州後，立即開始救亡活動，派趙時賞率一部軍士去取寧都，派吳俊章取雩都（今江西於都），同時，在江西堅持抗元的劉洙等人聞文天祥開府，紛紛率兵來會，文天祥麾下迅速集結起數萬人馬。
十一月，對南宋流亡政府來說，局面更為崩壞。阿里海牙攻破堅守三個月的廣西重鎮靜江，守將馬墍血戰而死，阿里海牙縱兵屠城。不久，邕州（今南寧）守將獻城，但馬墍麾下鈐轄（軍職）婁某率二百五十名兵士死守月城不降，後在騙得元軍送上米、肉，飽餐之後引炮自炸，二百餘人全部灰飛煙滅。阿里海牙大怒，又將邕州屠城。此後，廣南西路十五州，皆為元軍攻取。同月，阿剌罕所部攻克處州（今浙江麗水）、溫州，在瑞安大敗宋軍，執殺趙與睪與其弟趙與慮等人，兵入建寧府（今福建建甌）。
這樣一來，南宋流亡政府所在地福州已經很危險，此時，流亡政府手中還有軍士十七萬，民兵三十萬，可供一戰者有近五十萬之多。可陳宜中、張世傑卻不敢與元軍作戰，帶著幼帝趙昰登船入海逃走。十一月二十三日，福州為元軍佔領。
相對於近五十萬大軍的望風而遁，文天祥則是迎難而上。至元十四年（公元1277年）五月，文天祥集結部伍，自梅州出江西，吉州、贛州堅持抗元的宋軍皆來赴，合軍收復會昌縣。八月間，文天祥部下趙時賞等人分道攻取吉、贛周圍的城鎮，對贛州形成包圍之勢，衡山、撫州等地殘餘宋軍紛紛前來會合。
為了遏制江西宋軍發展，元廷在江西置行中書省，以塔出為右丞，麥術丁為左丞，李恆為參知政事，以諸道之兵四出江西。元將李恆自領一軍精騎，出奇不意地向身在興國的文天祥發起進攻。文天祥不曾想李恆進軍速度如此之快，猝不及防，軍隊潰散。與此同時，在永豐的鄒渢部宋軍也被元軍殺敗，兩軍匯合一處撤退。
逃至空坑（今江西吉安境內）時，文天祥麾下軍士多散，身邊只有杜滸、鄒渢等幾個人相隨。宋將趙時賞為使文天祥等人有時間逃走，冒充文天祥為李恆追兵所抓，並沿途掩護很多文天祥部曲逃走，後被識破，從容赴死。文天祥逃脫後，輾轉至南嶺（今廣東紫金），重新集結隊伍。
南宋流亡朝廷行至泉州泊岸，駐守當地的安撫使蒲壽庚前來謁見，並請端宗駐蹕泉州，張世傑沒有答應。身邊的人又勸張世傑留下蒲壽庚，這樣可以讓其麾下的數百艘巨船以及無數家資作為軍用，可張世傑也沒有聽取。不久，由於宋朝的撤退人員太多，舟船嚴重不足，張世傑也不知會蒲壽庚，命部下掠取其船隻，並沒收船上的金銀財物。不讓皇帝駐蹕，已經顯出不信任，現在又無端搶船搶錢，本來就不怎麼堅定的蒲壽庚大怒，宣佈叛宋降元，在泉州城內大殺趙宋在當地的宗室以及士大夫和淮軍士兵，遇害者達數千人。無端引來災禍的張世傑連忙下令起錨，全軍逃亡潮州（今廣東潮安）。
在海上四處飄蕩的南宋朝廷屢屢遭到元軍襲擊，一直把持朝政的陳宜中感到宰相癮也該過足了，便以去占城（今越南中部，當時為獨立國家）給皇帝打前站為藉口，徑自一人到占城，從此再不回來。至元十四年十二月二十二日（1278年1月16日），流亡政府的船隊到達井澳（今廣東大小橫琴島之間的海灣），忽遇颶風，舟船傾覆無數，連端宗所乘的巨舟也被大浪擊翻，小皇帝幾乎被淹死，驚悸成疾。颶風過後，張世傑點算兵數，竟然死者過半。這麼多兵將白白葬身魚腹，卻沒能和元軍正式打上一仗，張世傑想保存實力，老天也不幫他。
至元十五年四月十五日（公元1278年5月8日），一直未能從驚嚇中恢復過來的宋端宗趙昰病死於石岡州（今廣東吳川西南面一個小島）。“群臣多欲散去”，一直沒有發揮應有作用的陸秀夫終於挺身而出道：“度宗皇帝一子尚在，將置其何地！古人有以一旅以成中興者，今百官有司皆備，士卒數萬，天若未欲絕宋，此豈不可立國？” 於是，眾人擁立年方八歲的衛王趙昺為帝，是為宋末帝，改元祥興。