衡山縣地在《禹貢》（此篇將當(dāng)時(shí)中國(guó)劃分為九州，分別記述其山川、物產(chǎn)、交通、貢賦，保存了重要的地理資料）荊州（古九州之一，《禹貢》云：“荊州及衡陽(yáng)惟荊州，北據(jù)荊山，南及衡山之陽(yáng)”）之境（堯時(shí)衡山在荊州南境。
舜時(shí)屬荒服。
夏商未變，先后為三苗蠻族和揚(yáng)越雜居之地），天文翼軫（yì、zhěn，翼、軫均為28宿之一。
南方有井、鬼、柳、星、張、翼、軫7宿，稱朱鳥(niǎo)七宿。
首位稱鶉首，中部〈柳、星、張〉稱鶉火，末位稱鶉尾）分野，鶉尾（chún，鶉尾為星次名，指翼軫二宿，古以為楚之分野）之次，本周麇（jūn）子國(guó)（另一說(shuō)為糜子國(guó)，本志和《嘉靖衡州府志》等古籍都如此記載。
秦并天下，隸長(zhǎng)沙郡（秦始皇24年）。
漢（漢高祖元年復(fù)屬楚，漢高祖五年）封為長(zhǎng)沙國(guó)湘南縣地（新始建元年，廢長(zhǎng)沙國(guó)，湘南縣改屬荊州填蠻郡。
東漢建武元年，屬荊州長(zhǎng)沙郡湘南候國(guó)。
建安13年，為劉備所占。
建安20年，湘江東西一帶分別為孫權(quán)、劉備割據(jù)。
建安24年，改屬孫）。
三國(guó)時(shí)置衡陽(yáng)縣，隸衡陽(yáng)郡（三國(guó)時(shí)吳大帝黃龍?jiān)陮賲牵瑓菚?huì)稽王太平二年即公元257年，立衡陽(yáng)郡兼置衡陽(yáng)縣〈非今衡陽(yáng)縣〉、湘西縣，轄今衡山縣、南岳區(qū)及湘潭縣涓水以東和株洲縣湘江以西地區(qū)），其地（縣治）在今兜率寺（今永和鄉(xiāng)老糧倉(cāng)一帶）側(cè)，距今縣治二十余里。
晉改曰衡山（西晉惠帝永熙元年即公元290年，衡陽(yáng)縣更名衡山縣，屬荊州衡陽(yáng)郡，轄區(qū)與原衡陽(yáng)縣同。
永嘉元年8月，改屬湘州。
東晉義洗十三年，復(fù)屬荊州。
南北朝宋永初元年，重屬湘州衡陽(yáng)郡）。
隋以湘西、湘鄉(xiāng)二縣省入，隸潭州（隋開(kāi)皇九年，湘鄉(xiāng)、湘西兩縣并入衡山縣，屬長(zhǎng)沙郡，縣城遷湘西縣城即今株洲市淦田一帶）。
（大業(yè)三年，改衡州為衡山郡，屬荊州，領(lǐng)衡陽(yáng)、淶陽(yáng)、湘潭、新寧四縣）。
大業(yè)六年（轄今衡山縣、南岳區(qū)、湘鄉(xiāng)縣、雙峰縣全境，湘潭縣、湘潭市區(qū)、株洲縣、株洲市區(qū)湘江西部地區(qū)和望城縣湘江以西南部地區(qū)），遷治于白馬峰下（今衡山縣開(kāi)云鎮(zhèn)環(huán)溪村一帶）。
（唐武德4年，析出湘鄉(xiāng)縣。
貞觀元年，屬江南道長(zhǎng)沙郡。
神龍二年，改屬衡山郡，轄區(qū)與晉時(shí)同）。
唐神龍三年，御史馬目襄奏復(fù)舊治，其后又以水患改遷白茅鎮(zhèn)，南臨湘水百二十步，即今縣治也（開(kāi)元21年，屬江南西道采訪使。
天寶元年，衡山郡改名衡陽(yáng)郡，衡山縣屬之。
天寶8年，湘江對(duì)岸原湘潭縣部分地區(qū)劃入，時(shí)衡山縣轄今衡山縣、衡東縣、南岳區(qū)和安仁縣部分山區(qū)。
五代后梁開(kāi)平元年，屬南楚衡州）。
晉天福五年，屬潭州。
未幾，復(fù)隸衡州。
宋乾德三年，又屬潭州。
淳化三年，復(fù)屬衡州。
四年，因茶鹽制置使雷有終請(qǐng)，遂定為潭之屬縣（至道3年，屬湖南路潭州長(zhǎng)沙郡。
咸平5年，劃東南部地區(qū)給安仁縣。
景炎2年，屬湖廣行省潭州路。
元天歷2年，潭州路更名天臨路。
至正24年，改天臨路為衡州府，衡山縣屬之）。
明朝洪武初，仍隸衡州府。
編戶三十二里（舊時(shí)縣以下的行政單位），后并為一十七里。
案：在城一廂，在外六鄉(xiāng)，分十六里。
疆域：東西廣一百六十里，南北袤一百八十里。
里至：冬至攸縣，地名井沖為界，一百二十里。
西至衡陽(yáng)縣，地名九渡鋪為界，四十五里。
南至茶陵縣，地名黃茅鋪為界，北至湘潭，地名柘塘鋪為界，三十五里。
東到攸縣一百八十里。
西到衡陽(yáng)縣一百里。
南到茶陵縣一百九十里。
北到湘潭縣一百八十里。
東南到醴陵縣九十五里，西南到安仁縣二百三十里。
東北到善化縣（系宋朝劃長(zhǎng)沙縣五個(gè)鄉(xiāng)，湘潭縣兩個(gè)鄉(xiāng)而設(shè)。
1912年并入長(zhǎng)沙縣）二百八十里。
西北到湘鄉(xiāng)縣一百六十里。
形勝：南臨湘水，北負(fù)開(kāi)云，衡岳諸峰，磅礴蜿蜒，三面環(huán)拱如城。
湖以南郡縣之治，雄壯奇勝莫能有過(guò)之者。
歐陽(yáng)永叔（歐陽(yáng)修）云：“山川秀麗稱衡湘”，豈虛語(yǔ)哉！后，清屬衡州府，民國(guó)廢府存縣，直隸湖南省。
1949年，中華人民共和國(guó)成立時(shí)，衡山縣域范圍包括今衡山縣、衡東縣、南岳區(qū)，屬衡陽(yáng)專區(qū)管轄。
1951年12月，劃出南岳及其附近山區(qū)，建南岳特別區(qū)。
1952年7月，南岳特別區(qū)撤銷，歸入衡山縣建制。
同年11月13日，衡山縣改屬湘南行政區(qū)。
1954年，重屬衡陽(yáng)專區(qū)。
1960年4月，南岳管理局升格為縣級(jí)行政單位，原南岳公社劃分為南岳公社和南岳鎮(zhèn)，歸屬南岳管理局。
1961年3月，南岳管理局將南岳公社組建為南岳、店門(mén)、祝融、師古4個(gè)人民公社，南岳鎮(zhèn)不變。
同年11月，新橋、馬跡、東湖、江東、貫塘、白果、松柏、望峰、貫底、棠興10個(gè)公社劃入南岳管理局。
1963年6月，南岳管理局更名為南岳縣，轄原南岳管理局15個(gè)社（鎮(zhèn)）。
1966年2月，撤銷南岳縣，將其行政區(qū)域劃歸衡山縣，同時(shí)析出湘江以東地區(qū)建衡東縣。
1983年，地市合并，衡山縣屬衡陽(yáng)市管轄。
1984年5月，析縣境中部南岳鎮(zhèn)、南岳鄉(xiāng)及后山的東湖、馬跡、望峰3個(gè)鄉(xiāng)中的10個(gè)村建縣級(jí)南岳區(qū)，直屬衡陽(yáng)市管轄。
2005年，開(kāi)云鎮(zhèn)與師古鄉(xiāng)合并設(shè)立新開(kāi)云鎮(zhèn)。
根據(jù)湖南省委、湖南省人民政府鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革工作會(huì)議精神和《關(guān)于開(kāi)展鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革工作的意見(jiàn)》(湘發(fā)〔2015〕15號(hào))的相關(guān)規(guī)定，我縣于2015年10月29日下發(fā)《衡山縣鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整改革實(shí)施方案》，《方案》明確：東湖鎮(zhèn)和馬跡鎮(zhèn)合并，設(shè)立新的東湖鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原東湖鎮(zhèn)駐地；白果鎮(zhèn)和長(zhǎng)青鄉(xiāng)合并，設(shè)立新的白果鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原白果鎮(zhèn)駐地；嶺坡鄉(xiāng)和望峰鄉(xiāng)合并，設(shè)立新的嶺坡鄉(xiāng)，鄉(xiāng)鎮(zhèn)駐地在原嶺坡鄉(xiāng)駐地；萱洲鎮(zhèn)和賀家鄉(xiāng)合并，設(shè)立新的萱洲鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原萱洲鎮(zhèn)駐地；開(kāi)云鎮(zhèn)和沙泉鄉(xiāng)合并，設(shè)立新的開(kāi)云鎮(zhèn)，鄉(xiāng)鎮(zhèn)駐地在原開(kāi)云鎮(zhèn)駐地。
本次鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整，衡山縣鄉(xiāng)鎮(zhèn)由17個(gè)調(diào)整為12個(gè)，減少5個(gè)，除上述新設(shè)的開(kāi)云鎮(zhèn)、萱洲鎮(zhèn)、東湖鎮(zhèn)、白果鎮(zhèn)、嶺坡鄉(xiāng)外，永和鄉(xiāng)、長(zhǎng)江鎮(zhèn)、福田鋪鄉(xiāng)、新橋鎮(zhèn)、貫塘鄉(xiāng)、江東鄉(xiāng)、店門(mén)鎮(zhèn)七個(gè)鄉(xiāng)鎮(zhèn)的名稱和駐地保持不變。