此地先秦時期就有游牧民族活動；西漢時并入中原王朝版圖，屬敦煌郡；后戰事不斷，歸屬屢易，地方政權、游牧民族勢力范圍犬牙交錯，中央政權控制力較弱。
公元前265年間，肅北始名昌蒲縣。
東晉時期改名為子亭。
到了西晉變動為新鄉，后來又叫氐置水；雨后夕照呈紫色，城東大山象個亭，所以又取名叫紫亭；清代起屬甘肅省，肅北之名，源于1938年在古肅州（酒泉）之北設立的“肅北設治局”。
因境內蒙古族人口較多，1956年成立肅北蒙古族自治縣。
1950年7月解放，1955年肅北蒙古族自治縣成立。