西漢為匈奴右部地。
唐屬北庭都護府所轄陰山都督府。
宋屬西州回鶻與西遼。
元為察合臺后王封地，至元十九年(1282)，置塔兒八合你驛。
明至清初為衛拉特蒙古諸部游牧地。
清乾隆三十年(1765)，設塔爾巴哈臺參贊大臣，駐雅爾(今哈薩克斯坦烏爾扎爾)，筑肇豐城，隸伊犁將軍。
乾隆三十一年(1766)，參贊大臣治所東遷楚呼楚，筑綏靖城，即今塔城市所在地。
光緒十四年(1888)，置塔城直隸廳，隸屬伊塔道。
1913年，廢直隸廳改設塔城縣。
1915年，分伊塔道，置塔城道。
1929年，塔城道改塔城行政區，轄塔城、烏蘇、沙灣、額敏4縣與和什托洛蓋設治局。
1943年，改為塔城督察專區。
1950年，設塔城專區，下轄塔城、沙灣、額敏、烏蘇、和豐、裕民6縣與托里中心區。
1954年，塔城專區隸屬伊犁哈薩克自治州。
1970年，改為塔城地區，轄塔城、沙灣、裕民、額敏、烏蘇、托里6縣與和布克賽爾蒙古自治縣。
1984年，塔城縣撤縣建市。
1996年，烏蘇撤縣建市。
2021年，沙灣撤縣設市，沿用至今。