清遠(yuǎn)市境在先秦時(shí)代，為古越族各部落聚居地。
西漢初年開始建縣，首置桂陽縣（轄今連州、連南、連山縣地，縣治在今連州鎮(zhèn)）。
南朝起，在建置縣級行政的基礎(chǔ)上，開始設(shè)郡置州：梁天監(jiān)六年（507），分湘、廣二州置衡州（治在含洭）；以陽山、桂陽、含洭、廣惠（亦名廣德）4縣。
明代在全國的政區(qū)設(shè)置分為布政司（初期為行省）、府（直隸州）、縣（散州）三級。
這一時(shí)期清遠(yuǎn)境內(nèi)政區(qū)設(shè)置變動，英德州降格為英德縣，屬韶州府；撤銷桂陽州，并入連山縣。
洪武十三年，又在原來桂陽州的治所設(shè)立連州（即后來的連縣）。
洪武十四年，連州及其所轄的陽山縣和連山縣改屬廣州府。
萬歷十年（1582），清遠(yuǎn)政區(qū)有：清遠(yuǎn)縣、連州及所領(lǐng)陽山、連山2縣，隸廣東布政司廣州府；英德縣，隸廣東布政司韶州府。
清代康熙至乾隆十一年（1746），這一時(shí)期清遠(yuǎn)境內(nèi)政區(qū)設(shè)置變動，只是佛岡直隸廳的設(shè)立。
清雍正七年（1729），連州改為直隸州，直隸廣東布政司，轄陽山、連山2縣。
嘉慶十八年（1813），清朝從清遠(yuǎn)、英德2縣劃地設(shè)立佛岡直隸廳。
嘉慶二十一年，連山縣升格為連山綏瑤直隸廳，統(tǒng)管“連陽”瑤務(wù)，宣統(tǒng)三年（1911）復(fù)稱連山縣。
嘉慶二十五年（1820），清遠(yuǎn)境內(nèi)設(shè)置的政區(qū)有1個(gè)直隸州：連州，屬南韶連道，直隸廣東布政司；2個(gè)直隸廳：佛岡、連山，分別屬廣肇羅道和南韶連道，直隸廣東布政司；3個(gè)縣：清遠(yuǎn)、英德、陽山，分別隸屬廣肇羅道廣州府、南韶連道韶州府、南韶連道連州。
中華民國建立后，清遠(yuǎn)的名稱和范圍與清代相同，但將府直轄地及州、廳皆改為縣，成為省、縣二級制，并于省、縣之間分區(qū)相繼設(shè)置綏靖區(qū)、行政區(qū)、行政督察區(qū)。
1912年，連州、連山直隸廳分別改為連縣、連山縣。
1914年，佛岡直隸廳改為佛岡縣。
1947年，國民政府設(shè)立連南縣，隸屬廣東第二專署行政督察區(qū)。
1983年7月，韶關(guān)實(shí)行市管縣新體制，清遠(yuǎn)、佛岡兩縣從韶關(guān)地區(qū)劃歸廣州市管轄。
1988年1月7日，國務(wù)院批準(zhǔn)撤銷清遠(yuǎn)縣，設(shè)立地級清遠(yuǎn)市，原清遠(yuǎn)縣分為清城、清郊兩個(gè)市轄區(qū)，并劃廣州市屬的佛岡縣和韶關(guān)市屬的英德縣、陽山縣、連縣、連南瑤族自治縣、連山壯族瑤族自治縣為清遠(yuǎn)市所轄。
1992年清郊區(qū)改稱清新縣;1994年，英德、連縣改為縣級市（連縣稱連州市），由清遠(yuǎn)市代管。
2012年11月，國務(wù)院批復(fù)同意撤銷清新縣，設(shè)立清遠(yuǎn)市清新區(qū)。