夏商時期，市境屬“淮夷”之地。
西周時期，市境大部為州來國所轄，南部地區(qū)分屬六、蓼；春秋末期，諸侯紛爭。
周襄王三十年（前622年），楚滅六、蓼，市境南部入楚；周景王十六年（前529年），吳滅州來，市境屬吳；隨著楚國勢力的擴(kuò)張，位于淮河上游的蔡國被迫幾度遷都，求救于吳。
周敬王二十七年，（前493年），在吳國的支持下，蔡國遷都于州來，改州來為下蔡。
戰(zhàn)國初期，周貞定王二十二年（前447年），楚惠王滅蔡，市境屬楚。
戰(zhàn)國末期，楚考烈王二十二年（前241年），遷都于壽春，改壽春為郢，市境為楚國都城。
楚王負(fù)芻五年（前223年），秦滅楚。
秦始皇二十六年（前221年），秦統(tǒng)一六國，市境淮河以南屬九江郡（郡治壽春），鳳臺縣及淮河以北屬泗水郡。
漢高祖四年（前203年），劉邦封英布為淮南王，首置淮南國，都六（今六安），轄九江、廬江、衡山、豫章4郡。
高祖十一年（前196年），英布獲罪伏誅，改封劉長為淮南王，都壽春（今壽縣）。
漢文帝六年（前174年），劉長獲罪流放，死于途中。
文帝改封城陽王劉喜為淮南王。
漢文帝十六年（前164年），淮南國被分為淮南、衡山、廬江，分別封給劉長的3個兒子，長子劉安繼任淮南王，都壽春。
漢武帝元狩元年（前122年），劉安獲罪自盡，廢淮南國，復(fù)為九江郡，治壽春。
元封五年（前106年），置十三州刺史部，屬揚(yáng)州刺史部，駐九江郡，壽春為九江郡治所。
西漢時期，市境先后為淮南國、九江郡所轄，鳳臺縣屬沛郡下蔡縣。
東漢時期，市境為九江郡所轄，分屬壽春縣、下蔡縣。
三國時期，曹魏設(shè)淮南郡，壽春為郡治兼揚(yáng)州治所。
其后，魏文帝先后封其子曹邕及其弟曹彪為淮南王，明帝青龍元年（233年），移治合肥新城。
其間，市境為淮南郡所轄。
西晉初年，揚(yáng)州遷治建鄴，淮南郡遷治于壽春，市境為其所轄。
永嘉亂起，淮河流域淪為戰(zhàn)亂區(qū)，江淮郡縣大批廢弛，北人南遷。
東晉咸和初年僑置淮南郡于丹陽郡于湖，市轄境則為僑置的南梁郡。
孝武帝時，因避帝后鄭阿春名諱，改壽春為壽陽。
南北朝期間，劉宋、南齊、蕭梁沿襲東晉，僑置淮南郡于江南。
市境淮河以南先后有豫州、南梁郡等僑置郡縣。
北魏、北齊、北周、隋時，市境淮河以南復(fù)為淮南郡所轄，淮河以北屬汝陰郡下蔡縣。
隋開皇八年（588年），置淮南行臺尚書省，治所壽春；次年滅陳，改行臺省為壽州總管府。
大業(yè)三年（607年），改置淮南郡，壽春為郡治所。
唐，置淮南道，市境淮河以南屬淮南道壽州所轄。
天復(fù)二年（902年），唐封淮南節(jié)度使楊行密為吳王，都揚(yáng)州，壽州為吳國地。
淮河以北屬河南道潁州下蔡縣。
五代初，吳王天祐四年（907年），置壽州忠正軍節(jié)度使。
吳天祚三年（937年），南唐代吳，以壽州置清淮軍節(jié)度使。
后周顯德四年（957年），世宗拔壽州，置忠正軍節(jié)度使，徙軍治、州治于下蔡（今鳳臺），稱北壽春，壽州稱南壽春。
北宋，置淮南路，市境屬淮南路壽州（治下蔡）所轄。
熙寧五年（1072年），分淮南路為東西兩路，市境為淮南西路壽州所轄。
徽宗政和六年（1116年），升壽州為壽春府，府治在北壽春（下蔡）。
南宋紹興十一年（1141年），宋金和議，以淮河、大散關(guān)為界，市境淮河以北屬金國，淮河以南為宋地。
金以下蔡為壽州，置防御使，隸汴京路（后改稱南京路）；宋置安豐軍，治安豐縣，壽春隸安豐軍；紹興三十二年（1162年），復(fù)置壽春府，隸淮南西路，壽春為府治，兼制安豐軍。
元代，市境屬河南江北行中書省安豐路，分屬壽春、下蔡兩縣所轄。
至元二十八年（1291年），建懷遠(yuǎn)縣，今市區(qū)東部屬懷遠(yuǎn)縣轄地。
明代，市境屬南京鳳陽府轄地，分屬壽州（包括今鳳臺縣）、懷遠(yuǎn)縣。
清初，市境屬江南行省鳳陽府，分屬壽州、懷遠(yuǎn)縣所轄。
順治十八年（1661年），置江南省左、右承宣布政使司，鳳陽府隸屬左司。
康熙六年（1667年），江南省左布政使司改稱安徽布政使司。
雍正十一年（1733年），從壽州分置出鳳臺縣，轄故下蔡縣地，同城分治。
同治三年（1864年），鳳臺縣遷治于下蔡縣故地（今城關(guān)）。
同治四年（1865年），安徽置3道，市境隸屬鳳潁六泗道（后改為皖北道）鳳陽府。
民國元年（1912年），廢道府，市境分屬壽縣、鳳臺、懷遠(yuǎn)縣。
民國三年（1914年），市境屬安徽省淮泗道（治鳳陽縣）。
民國二十一年（1932年），市境隸屬安徽省第四行政督察區(qū)，專員駐壽縣；民國二十七年（1938年），改屬第三區(qū)，專員先后駐立煌（今金寨）、六安；民國二十九年（1940年），第三區(qū)改為第二區(qū)。
其中有“淮南三鎮(zhèn)”之稱的田家庵、大通、九龍崗均屬懷遠(yuǎn)縣所轄。
1949年1月18日，淮南解放。
市境分屬淮南礦區(qū)、壽縣、鳳臺縣；3月，中共中央華東局決定在淮南三鎮(zhèn)的基礎(chǔ)上設(shè)立淮南煤礦特別行政區(qū)；4月，淮南煤礦特別行政區(qū)改設(shè)為淮南礦區(qū)。
1950年9月，建縣級淮南市。
1952年6月，建立省轄淮南市。
1977年1月，鳳臺縣由阜陽專區(qū)劃入。
1999年11月，毛集社會發(fā)展綜合實(shí)驗區(qū)批準(zhǔn)成立。
2004年7月，孔店鄉(xiāng)、三和鄉(xiāng)、曹庵鎮(zhèn)、史院鄉(xiāng)、孤堆鄉(xiāng)、楊公鎮(zhèn)、孫廟鄉(xiāng)由長豐縣、壽縣分別劃入淮南市大通區(qū)、田家庵區(qū)、謝家集區(qū)。
2015年12月3日，國務(wù)院批復(fù)同意六安市壽縣劃歸淮南市管轄。
2016年1月，壽縣正式劃歸淮南市。