上古時代史稱“榆次”。
晉悼公時，史稱“魏榆”。
晉昭公五年（前527），大夫中行穆子（荀吳）建都魏榆，北伐翟，故又稱“中都”。
晉頃公十二年（前514），涂水邑為現榆次之雛形。
戰國時期，榆次始屬魏，后屬趙。
趙孝成王十九年（前247），秦國占領榆次，次年建縣置。
經兩漢魏晉，到北魏太平真君二年（441），榆次并入晉陽，九年（448），中都縣遷治所于原榆次縣境東，稱中都縣。
之后，榆次或穩定，或紛亂，經歷朝歷代，名稱為榆次沒有變化。
到1937年，日本侵略軍長驅直入侵占榆次，成立日偽政府。
榆次人民不忍外侵，在中國共產黨榆次地方組織領導下，揭竿而起開赴東山八縛嶺，建立抗日根據地，成立榆次（路東或路南）抗日政權。
次年，以正太、南同蒲鐵路為界，與相鄰縣域又分別成立榆太祁（路西）縣，榆次（榆壽、壽榆）（路北）縣抗日政權。
1948年7月榆次全境解放，恢復統一的榆次縣。
1954年5月成立榆次市，與榆次縣并行。
1958年6月，榆次縣并入市（壽陽縣并入，約一年后分出），1963年3月市改縣，1971年7月又市、縣分設，1983年9月市、縣合并，恢復榆次市，2000年1月撤市設區為晉中市榆次區，至今。