唐堯時，為朔方幽都地。
虞舜，屬并州地（今太原）。
夏禹，為冀州地。
商，封為同性代子國西北地。
周，為要服地。
春秋，為北狄所居。
戰國時，林胡族在這里游牧。
周赧王九年（前306年），趙武靈王征服林胡、樓煩，地歸趙國云中郡。
秦始皇二十六年（前221年），實行郡縣制。
在今托克托縣城北古城置云中郡。
在今喇嘛灣鎮緣胡山東南，黃河東岸拐上村東山坡處置楨陵縣。
《漢書.地理志》載：“云中郡，秦置……縣十一，楨陵，莽曰楨陸”。
《中國古今地名大辭典》和《中國歷史地圖集·并州·朔方刺史部》所載、所標，緣胡山正是喇嘛灣鎮鳳凰山諸山。
西漢，今清水河縣隸并州定襄郡（郡治盛樂在今和林格爾縣土城村北），并設置桐過縣（今小缸房鄉城咀子山）、武成縣（縣城東，遺址元考）、駱縣（今窯溝鄉下城一帶）。
東漢，定襄郡遷置善無縣（今山西省右玉縣南），隸屬如故。
漢末，郡縣并廢，縣駐地變為聚落（今村鎮），楨陵更為箕陵。
魏晉，黃河以北地區為崛起的鮮卑族人所占據，為新興寄治的一縣。
北魏，今清水河縣為代都平城（今山西省大同市東）畿內西部地。
在今王桂窯鄉小火盤村南置昆新城。
道武初，割臘汗山地方百里以封庫狄氏。
其后又置尖山（今北堡鄉尖山村）、樹頹（今故城在楊家窯鄉境內）二縣，取樹頹水及山為名，隸朔州神武郡（今和林格爾縣境內）。
北齊，今清水河縣隸北道行臺。
隋朝，為紫河鎮屬地，隸榆林郡金河鎮（今大紅城）。
唐，為勝州河濱縣（今伊克昭盟準格爾旗十二連城鄉東境）。
貞觀三年（629年），隸關內道勝州榆林郡，河濱關（今喇嘛灣鎮拐上村）即古君子津。
五代，地歸契丹。
遼代，境內置寧邊州，不領縣，其東南兼跨德州宣德縣地（今內蒙古豐鎮市西南部），今清水河縣隸西京道。
金建國初期，以寧邊州置西軍，統于西南面招討使，隸西京路。
正隆三年（1158年），依外城建寧邊縣，產并為州所在地。
貞祐三年（1215年），改隸嵐州節度使，次年，升為防御州。
元至元二年（1265年）廢寧邊州，以其地之北半入東勝州（治所在今托克托縣境內），南半入武州（今山西省神池西），并改舊隸德州之宣德縣為宣守縣，直隸大同路。
明洪武四年（1371年），今清水河縣屬東勝衛，置千戶所，隸大同路。
洪武二十五年（1392年）置東勝左、右、中、前、后五衛。
永樂元年（1403年）廢。
正統三年（1438年），復置。
正統十四年（1449年），又廢。
崇禎九年（1636年），歸化城土默特部編為一部兩翼，分左右兩旗，今清水河縣屬左旗。
清乾隆元年（公元1736年），設清水河協理通判廳。
乾隆六年（1741年），清水河、托克托、和林格爾、善岱、薩拉齊同時分設協理通判，隸屬于山西總理旗民蒙古事務分巡歸綏兵備道。
乾隆二十五年（1760年），改理事通判廳。
乾隆二十九年（1764年），清水河、薩拉齊、和林格爾、托克托城通判與歸化、綏遠二同知，共屬歸綏道，隸山西省。
光緒十年（1884年），改為撫民通判廳。
民國元年（1912年），改廳為縣，隸綏遠省特別行政區。
民國18年（1929年），綏遠特別行政區改置綏遠省后，清水河縣屬綏遠省政府。
民國26年（1937年），抗日戰爭暴發，中共清水河縣劃歸清平云（清水河、平魯、左云）聯合縣，屬晉綏邊區。
民國27年（1938年），淪陷，屬偽蒙疆政府巴顏塔拉盟。
民國28年（1939年），清水河縣境內沿長城邊豬毛草村以南，韭菜莊、暖泉、北堡等地劃歸清平（清水河、平魯）聯合縣。
同年秋，又將井兒溝以北渾河以南地區，楊家窯、五良太劃為涼和清（涼城、和林格爾、清水河）聯合縣，同屬雁北地委。
民國29年（1940年），大青山地區成立晉西北行政公署駐綏遠辦事處，下設綏西、綏中、綏南3個專署和綏東濟南區，清水河屬綏南專署，同時將涼和清縣改為托和清（托克托、和林格爾、清水河）縣。
民國34年（1945年），清水河成立縣政府，僑居偏關水泉堡。
民國35年（1946年），中共托和清縣委改為工作委員會，劃歸右玉中心縣委。
民國36年（1947年），和林格爾縣政府與托和清縣政府合并，仍稱托和清縣。
當時縣境除一部分根據地外，其余大部分為游擊區和敵占區。
1949年，清水河縣全境解放。
1950年，清水河縣改隸綏遠省薩縣專區。
1952年，薩縣專區撤銷，清水河縣隸歸集寧專區。
1954年，集寧專區撤銷，改為平地泉行政區，清水河縣改隸平地泉行政區。
同年，撤銷綏遠省，所轄地區劃歸內蒙古自治區。
1958年，劃屬內蒙古自治區烏蘭察布盟。
1995年，劃歸內蒙古自治區呼和浩特市。