早在原始社會末期和奴隸社會，淮夷部族就生活在淮河流域，后被夏、商征服。
西周時(shí)建立州來諸侯國，都邑在鳳臺縣古城。
春秋末期，改州來為下蔡。
區(qū)境在西漢時(shí)屬淮南國和九江郡，東漢時(shí)屬九江郡，漢末及魏、晉、隋時(shí)屬淮南郡，唐時(shí)屬淮南道，宋時(shí)屬淮南路，元時(shí)屬下蔡縣，明、清初時(shí)屬壽州，清雍正十一年（1733年）后及民國時(shí)期屬鳳臺縣。
1949年5月前，區(qū)境屬鳳臺縣蘆孔鄉(xiāng)。
1949年1月12日，鳳臺縣解放，縣政府在淮河南設(shè)置八公山區(qū)和蔡家崗區(qū)。
5月，八公山區(qū)和蔡家崗區(qū)劃入淮南礦區(qū)，兩區(qū)合并成立淮南區(qū)，隸屬淮南礦區(qū)人民政府，駐地蔡家崗。
是時(shí)，區(qū)城東至姚灣，南到壽縣北門，西、北以淮河為界和鳳臺縣相望，轄孔集、山王、蔡崗、連崗、安城、鴨鋪、八公7個(gè)鄉(xiāng)（其中八公鄉(xiāng)于11月24日劃歸壽縣）。
1949年11月，設(shè)置八公山鎮(zhèn)，管理市政工作，隸屬淮南礦區(qū)行政辦事處，后隸屬淮南市人民政府，駐地土壩孜。
1953年5月22日，撤銷八公山鎮(zhèn)，建立八公山區(qū)（科級），管理淮南西部的城鎮(zhèn)工作，駐地土壩孜。
區(qū)政府設(shè)秘書、工商、文教、民政、財(cái)政、衛(wèi)生、農(nóng)林等7個(gè)股。
1955年2月，撤銷八公山、蔡家崗兩個(gè)科級區(qū)，建立縣級建制的八公山區(qū)，領(lǐng)導(dǎo)西部礦區(qū)的城市工作，新建的八公山區(qū)轄新莊孜、新市場（土壩孜）、蔡家崗、夏郢孜、李郢孜等地，駐地蔡家崗。
1960年秋，建立八公山城市人民公社，但未設(shè)立實(shí)體機(jī)構(gòu)，由區(qū)政府工作機(jī)構(gòu)代行職責(zé)。
1961年10月，八公山區(qū)劃分為八公山和謝家集兩個(gè)區(qū)。
新建立的八公山區(qū)駐地新莊孜，謝家集區(qū)則在原址辦公。
八公山區(qū)轄城市人民公社和山王人民公社，區(qū)政府設(shè)秘書室、稅務(wù)局、蔬菜產(chǎn)銷辦公室及工業(yè)、勞動(dòng)、民政、文教、衛(wèi)生、農(nóng)林、財(cái)政科。
1966年9月，八公山區(qū)改稱紅旗區(qū)。
1968年5月，成立紅旗區(qū)革命委員會，統(tǒng)一行使黨政領(lǐng)導(dǎo)權(quán)力。
1972年9月，紅旗區(qū)革命委員會改稱為八公山區(qū)革命委員會。
1980年10月，恢復(fù)八公山區(qū)人民政府名稱。