宋朝以前，這里本是一片蘆茅洲，并無村落，人們散居在東北茜槽一帶山莊里。
南宋時，岳飛率部抗金，轉戰(zhàn)此間，茜槽一帶村莊被金兵破壞。
后來有一族劉姓居民，遷移到這里，從此潭山就有了一個小小的市鎮(zhèn)，叫奧米市。
清末民初之時，市鎮(zhèn)漸次移至今址，市鎮(zhèn)名稱也因而轉名潭山。
清以前屬天寶鄉(xiāng)。
1932年編組保甲屬第二區(qū)，1933年11月至1935年4月屬找橋特別區(qū)，特別區(qū)政治局先后駐潭山萬壽宮、漢塘花門樓。
1935年鎮(zhèn)境分為2保聯(lián)、14保。
1939年兩個保聯(lián)分別改名潭山鎮(zhèn)和龍岡鄉(xiāng)。
1941年10月潭山鎮(zhèn)改名潭山鄉(xiāng)。
1946年，潭山鄉(xiāng)和龍岡鄉(xiāng)合并為慶凱鄉(xiāng)，下設10保、100甲。
1950年鎮(zhèn)境設潭市、聯(lián)合、龍岡、逍遙、石橋、山田等鄉(xiāng)，1952年增設找橋鄉(xiāng)。
1956年，潭市、聯(lián)合、龍岡、逍遙、山田5個鄉(xiāng)合并為潭山鄉(xiāng)；石橋、找橋2鄉(xiāng)合并為石橋鄉(xiāng)。
1958年石橋鄉(xiāng)與古陽寨墾殖場合并為黃岡山墾殖場古陽寨分場，隨后，潭山鄉(xiāng)亦成為黃崗山墾殖場的分場，兩鄉(xiāng)場又是人民公社，下設生產(chǎn)大隊、生產(chǎn)隊。
1959年增設院前分場。
1960年天寶、雙峰未并，翌年析出。
1968年潭山、石橋、院前等3分場合并為潭山公社，與墾殖場脫鉤，下轄10個大隊、50個生產(chǎn)隊。
1972年調整為葵花、龍岡、潭市、石橋、向陽、找橋、院前、山花、路邊、茜槽、漢塘、中興等12個大隊、103個生產(chǎn)隊。
1983年公社復名鄉(xiāng)，下設村和村民小組。
1985年6月潭山鄉(xiāng)改名潭山鎮(zhèn)。