唐高宗調露元年（679），單于大都護府管轄的突厥首領阿史德溫傅、阿史德奉職兩部首先發動了叛亂，立阿史那泥孰匐為可汗，於是“二十四州酋長皆叛應之，眾數十萬”。身為鴻臚卿兼單于大都護府長史的簫嗣業迅速採取了應對措施，與右領軍衛將軍花大智、右千牛衛將軍李景嘉等率兵征討，很快就控制了局面，“因不設備”。恰逢大雪，突厥餘眾夜裡偷襲，蕭嗣業的軍隊大敗，只得退守單于都護府自保。簫嗣業自幼與祖姑隋蕭皇后入突厥，熟悉突厥的風土人情，會講突厥話，所以官至鴻臚卿兼單于都護府長史。因此次之敗，被流桂州而死。繼任長史的是王本立。
起事的突厥貴族迅速出兵定州（今河北定縣），企圖與東北的奚、契丹聯兵。定州刺史霍王李元軌以空城計嚇退突厥兵，契丹和奚派出攻打營州的軍隊也被唐休璟將兵擊退，但餘眾猶多。
十一月，在西域平定了依附於吐蕃的阿史那都支和李遮匐、重置安西都護府於碎葉城的裴行儉又被委以平突厥的重任，“詔禮部尚書、檢校右衛大將軍裴行儉為定襄道行軍大總管，率太僕少卿李文思、營州都督周道〔務〕等部兵十八萬，並西軍（校檢豐州都督）程務挺、東軍（幽州都督）李文暕 等總三十餘萬，以討突厥”。次年三月，裴行檢的軍隊在黑山大敗叛軍，“擒其酋長奉職，可汗泥孰匐為其下所殺，以其首來降”。另一支突厥人在首領阿史那德溫傅的率領下退保狼山（橫亙於烏拉特後旗南部與烏拉特中旗西南），唐廷乃命戶部尚書崔知悌到定襄慰勞將士、處理餘寇，裴行儉班師。高宗君臣以為從此可無憂，於八月二十三日改元永隆。
但殘餘勢力很快又捲土重來，七月阿史德溫傅領兵攻打單于府所在地雲州，被代州都督竇懷哲和程務挺將兵擊敗。次年（開耀元年，681）正月，又寇掠原、慶等州，將矛頭指向唐的隴右群牧監所在，目的是掠奪戰馬。所以到秋天，夏州群牧使安元壽報告說：“自調露元年九月以來，喪馬一十八萬餘匹，監牧吏卒為虜所殺掠者八百餘人”。另外在永隆元年（680），“突厥又迎頡利從兄之子阿史那伏念於夏州，將渡河立為可汗，諸部落復響應從之”。唐廷又一次以裴行儉為定襄道大總管，右武衛將軍曹懷舜和幽州都督李文暕為副總管，出兵攻打突厥。裴行儉令曹懷舜出恆州，李文暕出幽州，作為先鋒軍攻擊阿史那伏念部，自己屯兵於代州涇口，派出間諜在阿史那伏念和阿史德溫傅之間行反間計，且約漠北安北都護府的回紇等部出兵“自磧北向南逼之”。曹懷舜等先與阿史那伏念部作戰不利，又中其間諜的假情報，輕兵出擊，“軍遂大敗,死者不可勝數”。只好厚賄伏念，殺牛盟誓才得脫身，阿史那伏念則向北與留在金牙山的部眾、妻子會合。裴行儉卻乘伏念與曹懷舜作戰之機派副將何迦密出通漠道，程務挺出石地道襲擊抄掠了伏唸的妻子及輜重。等到與曹懷舜約和北還，到金牙山後發現妻子不保，士卒多病，就引兵退保細沙，“行儉又使副總管劉敬同、程務挺等將單于府兵追躡之”。阿史那伏念在南有唐兵、北有回紇侵逼的情況下，走投無路，“遂執溫傅，從間道詣行儉降”。裴行儉押送伏念、溫傅及諸隨從酋帥回京師，答應免其死罪。突厥分裂的第二次軍事行動又以失敗而告終。唐朝一改寬宥降酋的做法，聽信忌妒裴行儉之功的宰相裴炎的建議，“斬阿史那伏念、阿史德溫傅等五十四人於都市”。這表明這些人已不再被看作是戰敗投降的突厥首領，而被視為逆臣或反叛的國家罪人。這樣大規模地屠殺少數民族首領在唐的歷史上還是第一次，這種不講策略的行為無疑更堅定了突厥貴族復國的決心，《厥特勤碑》東面第 13、14行就是這樣滿懷悲憤地告訴突厥民眾：“成為敵人後，但他們未能自立，重又內屬了。中國皇帝並不考慮突厥人民曾出了這樣多的力，他們說：‘我要滅掉突厥人民，並使其斷絕後代。’他們突厥在滅亡”。
突厥貴種出身的阿史那骨咄祿繼承了阿史那伏唸的衣缽，繼續糾集一夥反叛的餘眾逃到總材山，《厥特勤碑》曾這樣驕傲地告訴突厥民眾，骨咄錄是受突厥諸神的佑護登上汗位的：“上面突厥的上天，下面突厥的神聖水土神這樣說：‘不要讓突厥人民滅亡！讓他們成為人民！’於是把我父頡跌利施可汗、我母頡利毗伽可敦持護在上天之頂，高高舉起了。我父可汗同十七人出走。在聽到他們外走的消息後，城中的人上了山，山上的則走下來，聚集起來是七十人。由於上天賦予的力量，我父可汗的軍隊像狼一樣，而其敵人像綿羊一樣。東西征戰，結果結集起來的共是七百人。當有了七百人之後，我父可汗就按照我祖先的法制，組織和教導了曾喪失國家、喪失可汗的人民，曾淪為女婢、成為奴隸的人民，曾失掉突厥法制的人民，在那裡組織了突利斯及達頭人民，並在那裡賜給了葉護及設的稱號。”
勢單力薄的突厥叛軍餘眾之所以能成燎原之火，最終能夠從唐朝分裂出去，重建遊牧汗國，與唐朝的內憂外患迭興有密切的關係。自唐平高麗之後，吐蕃崛起並向唐的西北、西南邊疆頻頻進攻，奪取了西南的安戎城，進而南下洱河地區；控制安西四鎮，與西突厥聯合攻唐隴右地區。尤其是永淳元年（682），西突厥阿史那車薄與三姓咽面等聯合反唐，威震羌胡的大將裴行儉出師未捷身先死，幸賴安西都護王方翼以智取勝：曾任瀚海都護的劉審禮也慘死吐蕃，大唐威信已失。另外，此時正值高宗病重之時，武后專權，大肆排斥關隴士族，而以銓選、科舉取東南文士入朝，致使勳舊失勢，以致於突厥軍隊以為薛仁貴已死。這一切都給了骨咄祿等突厥貴族以可乘之機。
到永淳二年（683）十月薛仁貴與阿史德元珍在雲州作戰時，元珍已有力量“據黑沙城反，入寇幷州及單于府之北境，殺嵐州刺史王德茂”。薛仁貴擊退突厥部眾後，尚“斬首萬餘級，捕虜二萬餘人”。頡跌利施可汗在突厥族中的號召力極強，為佔領漠南地區頻頻出擊唐的黃河以南地區。弘道元年（683）到次年，是唐朝歷史上多事的一年，在內，高宗病逝、中宗被廢、睿宗失權，武則天於 684年九月改元光宅，臨朝稱制；在外，突厥加緊攻打唐之北境。683年2月，突厥寇定州（河北定縣）、媯州（河北省懷來縣），3月合族圍攻單于都護府，“執司馬張行師，殺之。遣勝州都督王本立、夏州都督李崇義將兵分道救之”；5月。骨咄祿帶兵寇蔚州（今山西蔚縣），殺刺史李思儉，豐州都督崔智辯也兵敗牛頭朝那山北（陰山在烏拉特前旗段）被擒獲，6月，突厥別部寇嵐州（今山西嵐縣），684年7月，骨咄祿等又寇朔州。就在武后排斥諸李、任用武氏、清洗舊臣之際，李勣之孫李敬業於684年10月在揚州以匡復廬陵王為口號起兵，於是北御突厥兵南調，黑齒常之將兵為江南道大總管，討伐李敬業。一直任單于道安撫大使的程務挺和夏州都督王方翼亦受李敬業的牽連而死，這是親者痛，仇者快的事情，“突厥聞務挺死，所在宴飲相慶；又為務挺立祠，每出師，必禱之”。鑑於突厥屢寇並幽二州，唐朝有人提出“欲廢豐州。遷其百姓於靈、夏”。豐州司馬唐休璟力阻此事，以為“豐州阻河為固，居賊衝要，自秦漢以來，列為郡縣，土宜耕牧。隋季喪亂，遷百姓於寧、慶二州，至胡虜深侵，以靈、夏為邊境。貞觀之末，募人實之，西北始安。今廢之則河濱之地復為賊有，靈夏等州人不安業，非國家之力也！”豐州是唐朝的西北門戶，與勝州一起，控扼黃河的東西兩岸，是唐都長安在北方的第一道邊防線，因而朝廷採納了唐休璟的建議，據守豐州。