忽必烈如果不想讓蒙古分裂，在繼位之前，他只有一個選擇，就是像察合臺一樣，放棄爭奪汗位，擁護阿里不哥。當時的蒙古帝國之下，除了忽必烈和東方三王族，基本上都是擁護阿里不哥繼位的。
在蒙哥時期，再次發動西征，旭烈兀遠征中東，佔領了波斯地區，東方則是讓忽必烈在金蓮川開府，把滅南宋的任務交給了忽必烈。但不久之後，蒙哥就對忽必烈起了疑心，於是自己親征南宋，讓阿里不哥留守蒙古草原本部。
蒙哥生前沒有指定繼承人，他死後有繼承權的包括他的三個弟弟，也就是旭烈兀、忽必烈和阿里不哥。得到蒙哥汗的死訊後，旭烈兀停止繼續大舉進攻埃及的行動，準備返回蒙古本部，但他離得太遠，所以並未實際返回，繼承人只剩下了忽必烈和阿里不哥。
阿里不哥被蒙古各部視為最理所當然的繼承人，尤其是當時蒙古各部中實力最強的金帳汗國的掌門人別兒哥，也是支持阿里不哥的。之前貴由汗突然去世，成吉思汗的子孫們爭執不下，就是在拔都的支持下，蒙哥汗才得以脫穎而出，繼承汗位。
但忽必烈突然悄悄返回開平，在東方三王族的支持下，繼承了汗位。雖然忽必烈也舉行了忽裡勒臺大會，由東方三王族推舉為大汗，程序上看起來是合法的，但卻遭到了蒙古其它各部的集體反對。只有察合臺汗國的後裔支持忽必烈，但他當時的影響力很小。
在阿里不哥繼位之後，忽必烈仍然強行自行繼任蒙古大汗，這是蒙古帝國歷史上第一次出現這種情況，在其它蒙古各部看來，忽必烈的這種行為就是叛亂。這樣，阿里不哥和忽必烈之間的糾紛就只能通過戰爭解決了，這同樣是蒙古帝國歷史上第一次發生內戰。
但當時支持阿里不哥的勢力中，別兒哥正準備越過高加索山脈，進攻旭烈兀汗國，並沒有以實際行動支持阿里不哥。阿里不哥當時能夠動用的軍隊，主要是隨他留守蒙古本部的軍隊，跟隨蒙哥進攻釣魚城的軍隊本來也是支持阿里不哥的，但在返回蒙古的路上，在六盤山附近被忽必烈強行解散。
在之後忽必烈與阿里不哥的戰爭中，忽必烈依靠東方三王族的支持，與阿里不哥形成了相持的局面。但忽必烈有一個非常重要的優勢在於，他控制著從華北地區經開平到和林的運輸線，而和林是非常依賴來自華北的物資供應的。
忽必烈切斷了這條物資供應線，和林就堅持不了多久。最後，也正是因為物資短缺，阿里不哥不得不放棄和林，向西退到中亞一帶，繼續與忽必烈相持。此外，忽必烈也調動了一部分華北的漢人軍隊參加戰爭。也就是說，忽必烈是以華北地區的物資和人力來與阿里不哥爭鋒的。
等到忽必烈與阿里不哥的戰爭結束之後，忽必烈就把重點放在進攻朝鮮、南宋，甚至還進攻了日本，而對和林以西的中亞地區則只是採取監視態度，並沒有主動進攻和林。滅了南宋之後，阿里不哥捲土重來，再次佔領和林，忽必烈又命滅宋的伯顏率軍作戰，再次戰勝了阿里不哥。
這時候，如果要想重新完成蒙古帝國的統一，忽必烈只有一個辦法，就是沿著成吉思汗西征走過的路，派軍隊進攻中亞地區，只有佔領中亞，才有可能迫使伊爾汗國和金帳汗國完全臣服。但忽必烈並沒有這樣做，而是選擇了比較保守的態度，只要蒙古其他各部不公開叛亂，他就寧可息事寧人。
但在忽必烈時期，蒙古的四大汗國仍然沒有完全分裂，阿里不哥投降之後，忽必烈名義上成為蒙古帝國的共主，但實際上其它三大汗國各自為政，中亞更是亂成了一鍋粥，伊爾汗國曾經有意進攻察合臺汗國，金帳汗國又有意進攻伊爾汗國。到元成宗鐵穆耳時期，蒙古帝國才正式四分五裂，各個汗國完全自行其是。