唐至清代均屬太平鄉(xiāng)，地跨光臨里、清河里、安仁上中里。
民國初期為第四區(qū)。
1935年編查保甲設(shè)潘渡、貴安2個(gè)聯(lián)保，屬第一區(qū)署。
1940年改設(shè)潘渡鄉(xiāng)和溪港鄉(xiāng)。
1943年2月后兩鄉(xiāng)合并為潘溪鄉(xiāng)。
新中國成立后設(shè)第四區(qū)。
1955年改潘渡區(qū)。
1958年7月撤區(qū)，分設(shè)潘渡、坡西、小滄3鄉(xiāng)。
同年9月各自成立人民公社。
1960年1月三社合并為潘渡公社。
1961年6月析出小滄公社。
1972年1月赤石大隊(duì)劃屬蓼沿公社。
1984年撤社建潘渡鄉(xiāng)。
2020年6月28日撤鄉(xiāng)設(shè)鎮(zhèn)，調(diào)整后行政區(qū)域不變。