公元七百五十三年，此時的唐王朝和西域的來往日漸頻繁，兩國之間的貿易逐漸的發展起來。但是之後由於唐王朝政局的動盪，它在西域的影響以及勢力也開始逐漸的衰退，從頂峰跌倒了谷底。
公元七百五十五年，安史之亂爆發。這次叛亂是由安祿山所發起，他帶領在東北邊境的大軍長驅直下，將當時的東京和西京佔領。唐玄宗看見形勢不對，就連夜逃出長安城。一直逃到了四川一帶，在他的兒子即位之後，將當時西北邊境的軍隊調集來長安，並且將駐守在西域的節度使手中的兵馬也調往了長安。
據史料記載，公元七百五十六年，當時有三支駐守在西域的唐軍被召回了長安，其中包括了五千精銳兵馬。
除了將駐守在西域的兵馬調集回來之外，唐肅宗還在西域各國徵發士兵，請求幫助將戰亂平息。這次的大量將駐守在邊境的軍隊調回，對於這次戰亂的平息起到了很大的作用。國內戰亂的問題雖然平息了，但是在西域的勢力卻大大減弱了。
這時候在西域的主要問題就是吐蕃和大食，並且此時防禦能力的衰退，正好給讓他們有了很好的機會。但是此時的大食並沒有趁機向東邊進軍，而是派遣軍隊幫助唐王朝將叛亂給平息了。這也充分體現了大食在最初的時候就沒有想要入侵蔥嶺東邊的領土。
但是對於吐蕃來說，當時的唐王朝不單單是將安西等地的節度使軍隊撤回，並且也將河西等地的用來防止吐蕃入侵的軍隊給撤了回去。並且當時吐蕃入侵這些地區明顯要比進軍西域要容易的多，並且勝算也要大一些。所以，吐蕃便大肆進軍河西一帶。在這種情況之下，西域的情況反而不是那麼的危急，留在那裡的軍隊堅持了將近五十年的時間。
到了公元七百六十三年的時候，吐蕃的軍隊已經佔領了唐朝的多個州縣，河西的大部分地區也幾乎都被他們給攻陷了。當時的四鎮還尚存著一定的實力。但是在公元七百六十五年的時候，在河西的軍隊就因為敵人的攻擊太過猛烈而承受不住，派遣了使者去到四鎮，這也說明了當時西域的情況要遠遠好於河西。
到了公元七六八年的時候，在西域駐守的軍隊又開始和唐王朝取得了聯繫。
事實上就看歷代王朝和西域的關係，其實就是兩個重要的原因。
第一個就是，將西域控制在自己的勢力範圍內，即可以在百姓心中樹立威望，又可以保證了兩國之間的貿易交往。另一個原因就是，將西域控制可以減弱北方遊牧民族的實力，並且確保了河西等地的安全，確保不讓當時南北兩個遊牧民族結合。
在吐蕃將隴西一帶佔領之後，唐王朝已經岌岌可危。此時西域也沒有了它原本存在的意義，它的生死對於唐王朝來說其實已經沒有那麼重要了。所以西域雖然有誠意，但是唐王朝卻因為自己本身的原因而無法提供幫助。
公元七百八十三年，唐王朝又一次遭受兵變，長安淪陷。當時的唐德宗派遣使臣前往吐蕃求助，但是吐蕃去趁機要求得到靈，徑等四個州和北庭等地。
唐德宗答應了吐蕃的要求，並且簽訂了盟約，著手開始派人去西域準備相關事宜。打算將西域的士兵，百姓等送回內地，然後在將這裡送給吐蕃。還讓當時駐守的四洲以及北庭的士兵相互勉勵安慰，同心協力，相互幫助重新回到家鄉，和自己的親人重逢。同時也說，如果在這裡已經有了一定的成就或者是積蓄，不願意回來的話，也是可以的，只要各自安好就好。
但是事實上吐蕃雖然答應了要出兵援助，但是他們卻在打仗的時候觀望，並沒有為大唐提供什麼實質性的幫助。還趁機從中撈到一筆好處，所以唐德宗就聽取了左右的建議，以吐蕃並未履行盟約為由，拒絕將之前答應好的地區交付給他們。
從現在的歷史資料線索來看，當時在西域駐紮的唐朝軍隊並不瞭解事情的真相，對於西域差點被送出去這件事並不知情。
公元七百八十九年，吐蕃集結人馬大肆進攻北庭等地，當時的節度使帶著幾千殘兵逃向了西州。剩下的士兵繼續堅守在自己的陣地中，最終也在歷史中失去了蹤影。