周代西羌人就在德令哈一帶游牧。
4世紀初吐谷渾進入海西立國建都，德令哈為吐谷渾轄地。
唐初吐蕃王朝勢力伸展到黃河河曲和青海湖畔，滅吐谷渾國，德令哈地區歸吐蕃王朝轄。
宋代前后五六百年內該地為藏族游牧部落駐地，吐蕃地方政權存在了比較長的一段時期。
13世紀蒙古族興盛后，勢力很快進入海西地區。
清初，東蒙古亦不刺、阿爾禿斯等部先后來此駐牧。
清皇太極崇德二年（1637），西蒙古顧始汗率和碩特和準噶爾巴圖臺吉的聯軍進入柴達木盆地。
清雍正初年在平定了羅卜藏丹津叛亂之后，將海西蒙古族分為八旗，德令哈地區為和碩特北右末旗駐牧地，此狀況一直維持到十九世紀四十年代。
到1949年解放前，該地為青海蒙古左翼盟長索南木幫吉力王公的駐牧地（俗稱柯魯溝貝子旗和柯魯溝扎薩克旗）。
1917年，在海西地區為都蘭縣地。
1939年，民國政府在柯魯溝建立西樂設治局，后于1945年改為德令哈墾務局。
1949年10月都蘭縣解放后，德令哈地區被劃分為都蘭縣三區。
1958年，德令哈工作委員會改為德令哈縣。
1962年11月，撤銷德令哈縣，并入烏蘭縣。
1973年，設立德令哈城關區，歸海西自治州直接領導。
1983年10月，改設德令哈鎮，屬海西州直轄。
1988年4月，改設德令哈市（縣級），沿用至今。