唐太宗一生好色風流、後宮如雲，他的妃嬪遠遠不止十五個，根據《冊府元龜》記載，貞觀十七年時他已擁有妃嬪多達數百人，超過唐朝後宮一百二十人編制數倍。她們絕大部分因為沒有生育皇子或本身沒有突出事蹟而不被史冊記載而已。
貞觀末年，出於對死亡的恐懼，李世民聽信了印度進口胡僧的忽悠，吃下其煉製的印度配方長生不老藥，最終於貞觀二十三年駕崩。李世民去世後，後宮裡那幾百個被他寵幸過的美人們當然必須給下任皇帝的新人們騰地方了，也就是所謂的退宮。退宮自有程序制度，唐高宗李治並不需要過於親自垂問。
根據隋唐時期的制度習慣，李世民後宮數百美人的去向大體如下：
1、受封太妃、隨子之藩
南北朝隋唐時期，妃嬪們如果誕有皇子，而且皇子受封藩王的話，那麼在老皇帝去世後，皇子生母可以拜為太妃，跟隨兒子在其封地生活。這些人是宮廷裡極少數的幸運兒。
李世民有子十四人，他們由九個不同母親生出。長孫皇后三個、韋貴妃一個、楊妃二個、燕德妃二個、楊貴妃一個、陰妃（嬪）一個、齊王妃（弟媳）一個、不知名後宮一個（李寬母，李寬早夭）、不知名後宮一個（蔣王母）。
其中陰妃之子謀反被誅、不知名後宮子夭折，而楊妃（恪母）、蔣王母和弟媳可能在李世民生前就去世，所以最後能脫離宮廷束縛做自己小王國主人的幸運兒僅僅三個，她們是紀國太妃韋氏（韋貴妃）、越國太妃燕氏（燕德妃）和趙國太妃楊氏（趙王李福母楊貴妃）這三位太妃都得到了唐高宗的高度禮遇，尤其是越國太妃，高宗和武后在泰山封禪時，由於武后的推崇，越國太妃燕氏作為女性，參與了封禪這種最高級別國家大典的程序“終獻”。
2、無子的高級妃嬪退宮出居太宗別廟崇聖宮
崇聖宮位於長安城內，作為太宗別廟用來安置其地位較高的後宮。比如李世民的昭容韋尼子墓誌出土，她就去世於崇聖宮。崇聖宮的妃嬪雖然不用出家，而且待遇較為優厚，但她們實際上也等同於被終身幽禁。
3、部分中低級妃嬪被安置於靈寶寺，強制剃髮為尼
與位階較高的崇聖宮嬪不同，她們必須剃髮為尼。靈寶寺和崇聖宮比鄰而居，所以唐高宗儀鳳二年，兩寺合併為崇聖寺。
4、絕大部分低級妃嬪安置於皇家寺院德業寺，強制剃髮為尼
《三藏法師傳》裡有記載，在唐高宗年間，皇宮禁苑之中有所德業尼寺，尼姑規模達到數百。而陝西西安確實出土了不少有後宮品級的德業寺亡宮墓誌，所以這些寺尼當有大量是前朝低級妃嬪。令人感嘆的是，這些亡尼生平事蹟全無記載，甚至連姓名、父母和家鄉都無人得知，除了一方公式化的墓誌，人生了無痕跡了。
5、殉葬
唐朝沒有要求妃嬪給皇帝去殉葬的制度，但唐太宗寵愛的才女徐充容卻自願為皇帝殉死。徐充容徐惠少女時因為才氣而被召入皇宮為妃嬪，李世民很賞識她，將她從五品才人一路提拔到二品充容。她本可以退居崇聖宮安度餘生，但徐惠為了報答李世民知遇之恩，生病後不吃藥而死。唐高宗李治為了表彰她，追封她為一品賢妃，並陪葬昭陵主峰石室。
6、被新君所納，重新殺回後宮
李世民數百後宮隊伍中有個不起眼的武才人，她身份不高不低，十幾年來籍籍無名地蹉跎在才人位置從沒動過，可謂事業無成。所以唐太宗一掛她也是去當尼姑的命。但武才人不是個認命的人，她早就盤算憂慮過自己的後路，不甘心自己一身本事就這麼埋沒。老天偏愛自救的人，還真的給了她一根救命稻草。貞觀二十一年，李世民生病，按照慣例，後宮和皇太子都要來侍疾，因此雙方難免要碰面。就在這段日子裡，武才人用盡全部智慧和皇太子李治在李世民病榻前勾搭上了，有了一段露水姻緣。
靠著這點點露水緣分，已成尼姑的武氏又抓住機會讓當了皇帝的李治念起舊情再度寵愛了她，而且還從感業寺中回到後宮，鬥倒了王皇后和寵妃蕭淑妃，鼓舞著李治反抗掌握政權的其舅父長孫無忌等人，最終高宗廢黜了父親為他親選的王皇后，立曾經的庶母武氏為新皇后，而反對武氏上位的長孫無忌等人也被高宗武后合夥逼死。