清遠市境在先秦時代，為古越族各部落聚居地。
西漢初年開始建縣，首置桂陽縣（轄今連州、連南、連山縣地，縣治在今連州鎮）。
南朝起，在建置縣級行政的基礎上，開始設郡置州：梁天監六年（507），分湘、廣二州置衡州（治在含洭）；以陽山、桂陽、含洭、廣惠（亦名廣德）4縣。
明代在全國的政區設置分為布政司（初期為行省）、府（直隸州）、縣（散州）三級。
這一時期清遠境內政區設置變動，英德州降格為英德縣，屬韶州府；撤銷桂陽州，并入連山縣。
洪武十三年，又在原來桂陽州的治所設立連州（即后來的連縣）。
洪武十四年，連州及其所轄的陽山縣和連山縣改屬廣州府。
萬歷十年（1582），清遠政區有：清遠縣、連州及所領陽山、連山2縣，隸廣東布政司廣州府；英德縣，隸廣東布政司韶州府。
清代康熙至乾隆十一年（1746），這一時期清遠境內政區設置變動，只是佛岡直隸廳的設立。
清雍正七年（1729），連州改為直隸州，直隸廣東布政司，轄陽山、連山2縣。
嘉慶十八年（1813），清朝從清遠、英德2縣劃地設立佛岡直隸廳。
嘉慶二十一年，連山縣升格為連山綏瑤直隸廳，統管“連陽”瑤務，宣統三年（1911）復稱連山縣。
嘉慶二十五年（1820），清遠境內設置的政區有1個直隸州：連州，屬南韶連道，直隸廣東布政司；2個直隸廳：佛岡、連山，分別屬廣肇羅道和南韶連道，直隸廣東布政司；3個縣：清遠、英德、陽山，分別隸屬廣肇羅道廣州府、南韶連道韶州府、南韶連道連州。
中華民國建立后，清遠的名稱和范圍與清代相同，但將府直轄地及州、廳皆改為縣，成為省、縣二級制，并于省、縣之間分區相繼設置綏靖區、行政區、行政督察區。
1912年，連州、連山直隸廳分別改為連縣、連山縣。
1914年，佛岡直隸廳改為佛岡縣。
1947年，國民政府設立連南縣，隸屬廣東第二專署行政督察區。
1983年7月，韶關實行市管縣新體制，清遠、佛岡兩縣從韶關地區劃歸廣州市管轄。
1988年1月7日，國務院批準撤銷清遠縣，設立地級清遠市，原清遠縣分為清城、清郊兩個市轄區，并劃廣州市屬的佛岡縣和韶關市屬的英德縣、陽山縣、連縣、連南瑤族自治縣、連山壯族瑤族自治縣為清遠市所轄。
1992年清郊區改稱清新縣;1994年，英德、連縣改為縣級市（連縣稱連州市），由清遠市代管。
2012年11月，國務院批復同意撤銷清新縣，設立清遠市清新區。