漢晉以前為羌地。
周至漢代曾為“諾木洪文化”分布區。
南北朝時期為吐谷渾國屬地。
隋大業五年（609），隋軍破吐谷渾國，將其納入隋王朝版圖，格爾木地區隸西海郡威定縣。
隋亡后吐谷渾復其故地。
唐初吐蕃國興起，攻滅吐谷渾國，格爾木即被吐蕃統治。
北宋時格爾木曾一度隸屬于唃廝啰政權。
元代為吐蕃等處宣慰使司轄區。
明初屬曲先衛轄區。
從正德七年（1512）始，格爾木成為東蒙古屬地。
明末清初，屬厄魯特蒙古和碩特部（西蒙古）屬地。
清雍正三年（1725）后，格爾木屬青海蒙古左翼盟和碩特西右中旗，俗稱臺吉乃爾旗。
1917年，格爾木隸屬都蘭理事管轄。
1952年，格爾木解放。
1956年3月1日，格爾木工作委員會成立，為縣級領導機構。
1960年11月17日，撤銷格爾木工作委員會，改設格爾木市。
1964年6月5日，國務院批準撤銷唐古拉山工作委員會，并將行政區域歸格爾木市。
1965年3月27日，格爾木市撤市設縣。
1980年6月14日，又撤縣設市。
1992年5月，格爾木被確定為青海省計劃單列市。
2000年9月，升為副地級市。
2001年8月，設立東城行政委員會、西城行政委員會和察爾汗行政委員會，作為市政府的派出機構。