介休奠於晉中之涯，綿霍之麓，前環汾水，後襟綿嶽，川嶽鍾靈，歷史悠久。在遠古三皇五帝時代，晉中盆地地勢低下，積水如汪洋大海。大禹治水自冀州壺口山起事，而後鑿呂梁及岐山，將阻塞最嚴重的靈石口（在靈石廈門三灣口）劈開，使晉中一帶洪水通過雀鼠谷南流入河。介休有地名“船窟”即當年晉陽湖岸泊船處。“鑿開靈石口，空出晉陽湖”即當時大禹治水形象的傳說。直至漢代，介休東北部至祁縣西北部還留有史稱“昭餘祁”的溼地，唐宋之後才完全填塞變為良田。
1982年，在介休城西南8公里的義棠鎮溫家溝村，發掘出新石器時代龍山文化早期遺址（已到夏朝）和東周文化遺址，有陶器等文物出土。可見新石器時代，介休域內已有人類繁衍生息了。據《禹貢》九州之分，介休當時隸屬冀州；商，祖乙都耿，介休屬畿內地；周，介休為太叔虞唐國之地。春秋魯隱公五年（公元前718年），曲沃莊伯伐翼，晉翼侯奔隨。據杜預《釋例》，隨在漢代界休縣城之東。晉文公、襄公時（公元前636—前621年），隨為晉大夫士會（又稱隨會、隨季）食邑。屬晉國。
晉平公二年（公元前556年），晉中一帶被封為大夫祁奚食邑，公元前514年，祁奚之孫祁盈忤晉君，被滅族，祁氏之田遂分為七縣，介休境內始置鄔縣，封司馬彌牟為鄔大夫。縣城在今介休城東北30裡的鄔城店村一帶。戰國初，韓、趙、魏三國分晉，介休屬魏國。
屬幷州刺史部太原郡。新莽改界休為界美、東漢複名界休。此時鄔縣仍存，隸屬與界休同。三國時屬魏國，隸幷州西河郡，鄔縣隸太原郡。晉改界休為介休，屬西河國，鄔縣屬太原國。介休之名自晉始。
據《魏書》載，西晉永安元年（公元304年）戰亂開始，介休城被劉淵軍攻破。在之後的長期戰亂中，介休與鄔縣被廢置。直至北魏太和八年（公元484年）復置介休縣，介休縣城為避胡人攻破，選址建在秦漢故城東南二十五里的張壁村一帶，屬吐京鎮西河郡。太和十二年，改吐京鎮為汾州，介休縣屬汾州西河郡。太和十九年（公元495年）復置鄔縣，屬幷州太原郡。
北魏孝昌二年（公元526年），汾州西河郡為胡人攻破，僑置平陽郡界。東南二十五里處介休縣治也被攻破，也僑置平陽郡。據《元和郡縣圖志》，被攻破後的介休城在東魏孝靜帝時期改為南朔州，由朔州軍人重新築城，備禦西魏外患。北魏永安年間（公元528-536年）介休縣屬司州五城郡。東魏興和四年（公元542年）有定陽郡僑置介休（秦漢時縣城）。該郡原置吉縣境，北魏孝昌中被攻陷，遂僑置介休城多年，此間，在介休又置平昌縣。北齊天保年間（公元550-559年），介休（包括鄔縣）廢置，縣域併入永安縣（孝義縣）。北周宣政元年（公元578年），置介休郡，復置介休縣，屬介休郡。北周大成元年（即大象元年，公元579年），介休縣改名為平昌縣，屬介休郡。
隋開皇初年（公元581年），撤銷介休郡，平昌縣屬西河郡。開皇十年（公元590年），割縣境西南部析置靈石縣。開皇十六年，又分割縣境南部區域置綿上縣。開皇十八年，平昌複名介休縣，仍屬西河郡。義寧二年（公元618年），復置介休郡，介休縣屬介休郡。唐武德元年（公元618年），介休郡改名介州，介休縣屬介州。貞觀元年（公元627年），介州撤銷，介休縣屬河東道汾州。天寶元年（公元742年），介休縣屬西河郡。乾元元年（公元758年）介休縣屬汾州。
五代，介休縣屬太原府汾州。
北宋至道三年（公元997年），介休縣屬河東路汾州。熙寧五年（公元1072年），孝義縣曾一度併入介休縣。
金代，介休縣屬河東北路汾州。
元代，介休縣屬河東山西道宣慰司冀寧路汾州。元至元二年（公元1336年），小靈石縣併入介休。
明洪武元年（公元1368年），介休縣屬山西布政使司汾州。萬曆二十三年（公元1595年），介休屬山西布政使司汾州府。
清代，介休縣屬山西冀寧道汾州府。
中華民國元年（1912年），介休縣屬山西省。民國三年（1914年），屬冀寧道。1937年“七七”事變後，日本侵略軍侵入山西，山西實行抗日遊擊縣長制，全省105縣劃分為7大行政區，成立於1937年12月的介休抗日政府屬第四行政區。民國二十七年（1938年）二月十五日，日軍侵戰介休城，於次年成立偽政權介休縣公署，介休偽政府屬偽山西公署。民國二十八年（1939年），介休抗日政府劃屬第三行政區。同年十二月，閆錫山發動了“十二月政變”，閆錫山統治的第二戰區長官司令部又建立介休縣政僅，縣政府寄駐孝義農村，屬孝義“統委會”（相當於專署）。此政府與抗日政府、偽縣公署三個政權同時並存。民國三十四年（1945年）八月，日本侵略軍投降後，日偽縣公署被閆錫山政權接收。介休縣轉由閆錫山統治。直至1948年解放，歸屬山西省。
“十二月政變”之後，介休抗日政府由中國共產黨公開領導，進行遊擊戰爭，屬山西省第三行政區路西辦事處領導。民國三十年（1941年）二月，屬太嶽專署。五月，屬太嶽專署第三辦事處；八月屬晉冀魯豫邊區第九專署。是年四月，鐵路北地區與平遙、孝義、汾陽地區合併成立了平介縣，屬晉綏邊區呂梁行署七專署。民國三十一年（1942年）五月，鐵路南地區與靈石縣河東地區合併成立介靈聯合縣，初屬晉冀魯豫邊區第九專署，民國三十二年（1943年）三月，屬太嶽行署第一專署。六月，介靈分置，介休抗日政府隸屬未變。民國三十四年（1945年）日軍投降後，縣抗日政府更名為民主政府，隸屬未變。1948年7月17日，介休縣城和平解放，介休民主 府屬晉中行署第三專署。10月，撤銷平介聯合縣。1949年，介休民主政府一度屬太原市第三專署領導。
1949年10月中華人民共和國成立後，介休屬山西省榆次專區。1958年，介休、靈石、孝義三縣合併，稱謂介休縣，屬山西省晉中專區。1961年4月，三縣分置，介休仍屬晉中專區。1980年，屬晉中行署。1992年2月，經國務院批准，介休縣改為介休市，為縣級市，仍屬晉中行署。2000年5月。晉中行署改為晉中市，介休市屬晉中市。
介休史志辦