如今大部沉沒於官廳湖下的懷來城，曾經是著名的軍事要塞，有“北門鎖鑰”之稱。
懷來城位於懷來縣境東部，北託臥牛山，南臨媯水河。
懷來城歷史悠久。
懷來城始建於唐代。武則天垂拱年間（685年—688年）在媯州界（今懷來城）設清夷軍。長安二年（702年），媯州治移到清夷軍城。五代十國前期，懷來城仍為媯州州治。後媯州為奚王所佔，改稱可汗州。遼時，太祖仍襲可汗州，改懷戎為懷來，這是懷來之始稱。遼太宗年間（927年—947年）懷來城為西京道大同府，奉聖州下轄可汗州清平軍懷來縣，為州、縣治所在。
明初，遷民於關內，州縣俱廢。明洪武三十年（1397年）置懷來守禦千戶所；永樂十五年（1417年）改為懷來左衛，十六年（1418年）改為懷來衛，直屬後軍都督府；宣德五年（1430年）六月改屬萬全都指揮使司，歸東路管轄。懷來城為衛治所在，轄沙城堡城、土木堡城、榆林堡城。
清康熙三十二年（1693年），改懷來衛為懷來縣，屬宣化府，懷來城為縣治所在，下轄沙城堡城、新保安城、土木堡城、礬山堡城、榆林堡城。
懷來城西通晉蒙，東達京津，自古就是著名的軍事要塞。《懷來縣誌》稱，“懷來雖區區百里，而西屏宣鎮，東蔽居庸，北當槍竿、滴水崖之衝，南護白羊、鎮邊城之險，前代列戍屯兵，視為重鎮”。又說：“宣鎮厄要之區不在鎮城，而在懷來。”
懷來城在元代就曾建有土築城垣。
明洪武二十三年（1390年）趙彝重修懷來城；永樂二年（1404年）又擴展修築；景泰五年（1454年）參將夏忠磚砌全城。
懷來城東、北兩面跨山，西、南為平地。城周長七裡二百二十二步，高三丈四尺。城垣上築城樓三座，角樓三座，鋪舍28座，敵樓26座，垛口985個。東、南、西開三個城門，各有甕城拱衛，東門叫“明靖”，南門叫“迎恩”，西門叫“永安”。城東北角開有小北門一個，但長期關閉。城牆外側建有壕溝，深闊各一丈。
明萬曆四十七年（1619年），兵備胡思伸增筑西關城，城垣高二丈七尺，周長二百二十丈，開南北西三門。懷來城城牆在清乾隆十年（1745年）、乾隆二十年（1755年）、同治元年（1862年）曾有過三次大修，至1949年舊城垣仍保存完好。
懷來城是一個充滿神奇色彩的城鎮。傳說明初，劉伯溫修建北京城時出關考察，見此地山勢、河流頗具風水，於是在此建城取名“懷來”。幾百年來，懷來多經征戰，但古城均未遭到破壞。
城內街衢井然，屋舍整齊。有東、南、西、北四條大街，中間是十字街。街心有四個木製結構牌坊，雕樑畫柱，氣宇軒昂。連接主街的巷道有田家巷、武廟巷、三元街、小新街、東嶽廟巷、城隍廟街、四眼井巷、兩眼井巷、草場街、大悲寺巷、大學巷、通府巷、慶壽寺街、張老巷、小馬戰、順城街、觀音堂巷、舊守府巷、西關大街等。南大街建有雄偉壯觀的縣衙建築群，是按照明代縣衙的規制修造的，佔地約20多畝。
東牛角山上建有泰山廟，據縣誌載：“四月十八，傾城仕女詣東門外小山，上泰山行宮進香”，“宮殿樓閣六七尺，金碧輝煌，窮工極巧，更制旌旗儀仗，高照錦益，金鼓簫笙”。可見當時的盛況。
懷來城在元代為著名驛站，城內設公館以接待遞送公文的驛卒和來往的官員。城東媯水河上的古石橋，是上都（開平）到大都（北京）幹道上的重要橋樑。石橋始建於元代，稱五虎橋；明嘉靖二十七年（1548年）重修，名通濟橋；清嘉慶六年（1801年）又補修，稱媯水橋。全橋連碼頭共長一百二十多丈、寬二丈五尺，橋洞11孔，橋面兩側有石柱欄杆護衛，橋頭兩端有鑄鐵鎮水牛四個，石牌坊兩座。古石橋現已沒入官廳水庫。
懷來城依山傍水，建築奇特。東郊雨霽、西巖月落、南山疊翠、北嶺凌雲、三橋晚釣、古寺晨鐘、渾河白浪、佛峪溫泉號稱“懷來八景”。
落日開平路，懷來古縣城，數家惟土屋，萬乘有行宮。雪擁關山壯，塵隨驛馬輕，長橋人並立，還愛此河清。”元代文學家揭奚斯筆下的懷來城是如此充滿詩情畫意。
1951年修建官廳水庫，懷來城遷址沙城。一代名城從此靜靜地沉沒於水下，只有臥牛山之巔還留有懷來城的斷壁殘垣，依山勢蜿蜒而上，清晰而真實地承載著歷史的變遷。