玉泉區境地處“要荒”，遠離京畿一千數百里，古為“并州徼外”地，獯鬻所居。
戰國，隸屬趙云中郡。
秦，因之。
漢，建置名存實亡，由北魏統領。
南北朝，為敕勒族屬地。
隋代，屬白道川。
唐，入云中都護府（后稱單于大都護府）。
宋代，為遼國領地，屬西京道豐州。
北宋末，為金西京路豐州富民縣所轄。
元代，仍隸屬豐州。
明正德、嘉靖年間，阿勒坦汗率土默特部駐牧“豐州灘”，始有“土默川”之稱。
清代，呼和浩特地區設有三套行政機構。
一為土默特左、右翼特別旗，建于清入關前的天聰年間（兩旗都統府均駐玉泉區境內）。
一為歸化城廳，雍正元年（1723年）設，隸屬于山西朔平府；乾隆六年（1741年），置歸綏道（屬山西），廳改隸道轄。
一為綏遠城將軍，始于乾隆四年（1739年）；管理滿洲駐軍和滿民事務，并節制上述的“旗”和“道”。
區境由“旗”、“廳”共管，以民族分治；蒙民屬“旗”，漢民屬“廳”。
民國元年（1912年），改歸化城廳為歸化縣；民國二年，綏遠城并入，改稱歸綏縣。
區境內仍蒙漢分治，旗縣并存。
民國三年（1914年），設綏遠特別區，脫離山西省。
1937年10月，日本軍入侵，玉泉區境由“蒙古聯盟自治政府”之巴彥塔拉盟的歸綏縣管轄。
后設厚和豪特市，1938年8月1日，改建成厚和特別市，繼改為厚和浩特市，區境始為市轄。
1945年，日軍投降后，建歸綏市，今玉泉區屬之。
境內有市的第二區、第三區和第一、第四兩區之部分。
土默特特別旗仍存，境內因襲蒙漢分治。
1951年6月，調整區劃，玉泉區境內有第三區大部和第二區之部分。
1954年4月，更市名為呼和浩特市。
6月，第三區改稱玉泉區，第二區易名慶凱區。
1956年，撤慶凱區，其大部分劃入玉泉區。
1966年，更名為向陽區。
1979年，復稱玉泉區。