東漢靈帝中平年（184），汝南（今河南）上蔡百姓遷到上高，始建上蔡縣，為上高縣之始，距今有1822年的歷史。
晉太康元年（280），改名望蔡縣。
唐中和年間初置上高鎮(zhèn)，南唐升元初（937）廢上高鎮(zhèn)改置上高場(chǎng)，南唐保大十年（952）升場(chǎng)為縣，始名上高縣，宋元明清沿用。
從1968年2月起，隸屬于宜春地區(qū)，即現(xiàn)宜春市。
2003年，敖陽(yáng)鎮(zhèn)改設(shè)為敖陽(yáng)街道辦事處。
2008年4月，在敖山華僑農(nóng)場(chǎng)范圍內(nèi)設(shè)立敖山鎮(zhèn)。
2012年5月，新界埠鄉(xiāng)撤鄉(xiāng)設(shè)鎮(zhèn)。
2013年11月，在墨山墾殖場(chǎng)范圍內(nèi)設(shè)立墨山鄉(xiāng)。
2013年12月，蒙山鄉(xiāng)撤鄉(xiāng)設(shè)鎮(zhèn)。
2021年3月設(shè)立錦陽(yáng)街道辦事處。