常樂堡建於平川內，因環境變遷，現處於沙漠當中。城堡平面呈長方形，城垣周長1680米，總佔地面積約176400平方米。
清初，常樂堡發生過激烈的戰爭。據曹穎僧《延綏攬勝》記載：“清順治元年（1644）十二月，清遺靖遠大將軍英王將兵八萬，從府谷渡河，克服緩德，肅攻延安，月餘，自成兵潰，始移師至米脂。二年正月，偽將高一功與節度使周士奇等皆出走，由常樂堡拒戰，不敵，退走響水、懷遠，所過焚殺。”1986年，當地村民在常樂堡城西牆夯土層內，發現了一塊30釐米見方銘文方磚。銘文楷書陰刻：“陝西領班營軍士九十九名，自辦料物修砌完成工一十七丈四尺，至北起迤西口敵臺口一座止。陝西領班千總西安衛指揮同知王道誠...萬曆二十四年八月吉日同立。”2011年3月，我們又進行了實地調查，發現北垣西部有一段牆體及一個馬面內用灰白色土質外用黃土夯築，頂寬0.6~1.6米，牆外高1~4米，內高0.5~7米。灰白色土夯層厚16釐米，夯窩直徑6.5釐米，深1.5釐米。在其北500米處為長城，走向與城堡北垣一致，用土也為灰白色土質，夯層、夯窩相同。外層黃土夯築，應為明代中期增築而成，內所用灰白色土質與統萬城、白城臺相同。因無相關史料和考古資料證明其時代，但可以確定它們早於明代，也說明常樂堡城牆為兩個時代，兩次修築。
常樂堡破壞嚴重，城垣保存較差。但從已發現的銘文磚，可以瞭解城堡的修築情況。特別是北垣西部用不同土質的夯築，能確認它的時代，對研究陝北古代軍事史、建築史有著較大價值。