甘谷古稱冀，據《史記·秦本紀》記載：“秦武公十年，伐邽、冀戎，初縣之。”秦武公十年即公元前688年。冀縣為全國縣治肇始之地，故甘谷有“華夏第一縣”之稱。冀縣縣址在今甘谷縣城西，歷秦、漢，至西晉太康三年，廢縣。後因地震、兵榮、水淹，城址湮沒。
北魏太平真君八年(447年)，置當亭，北周改當亭為冀城縣。
漢晉時期，甘谷古城曾是漢陽郡治、涼州州治、秦州州治之所在，是當時隴上政治經濟文化中心。
隋大業二年（606年），始移縣治於今縣城之南，仍稱冀城縣，城址尚在。
唐武德三年(620年)，改冀城縣為伏羌縣。
宋祥符九年(1016年)，秦州知州曹瑋在其地構築土城。
宋元祐三年(1088年)，伏羌縣令牟安仁在北街創修縣衙，坐北向南。
明景泰元年(1450年)，縣令王珣增築城池，並將城址北移。今縣城十字口即舊城北關。
明嘉靖二十一年(1542年)，知縣李灌增修縣城，城圍4.3裡，高2.5丈，頂寬0.8丈，護城河深寬各一丈。明嘉靖二十六年(1547年)，知縣王調元遷公署於東街北向，大堂五楹，右幕廳，儀門外左為典史宅，右為獄。嘉靖三十四年(1555年)，知縣李世相建譙樓於城門之上。明隆慶六年(1572年)，縣令甘芍增設城牆，使之增高加厚，並在城樓上增修敵臺七座。
清康熙五十年(1711年)，知縣侯琰捐俸重修。後經風雨剝蝕，城牆大多坍塌。
乾隆三十一年(1766年)，清政府撥銀一萬八千兩，由知縣殷兆燕領修，周圍高厚仍舊，四城東曰陽和，南曰阜財，西曰挹爽，北曰迎恩。
民國五年(1916年)4月，原甘肅省財政司司長田駿豐罷官歸裡，以重修北塔款移修縣城，於民國六年(1917年)夏曆4月告成。城牆為土質結構，全長2.5千米，高8.3米，底寬l2米，設東西南北四座磚砌城門，門拱高4米，門洞深11.8米，寬3.8米，各城門均有雙開木製門，門板高3米，厚0.07米。城外護城河深寬各3.3米。城內有東西南北四條大街，分別通往東西南北四座城門。
中華人民共和國成立後，甘谷古城的城樓、敵臺先後拆除。因城市建設需要，除西南角城牆保留外，其餘各牆均在20世紀九十年代前拆除，護城河亦被填平。