清代及民國初年，金山鎮(zhèn)一帶東、東北是茂明安旗地，西、西南歸鳥拉特東公旗管轄。
民國十五年（1926年），屬固陽縣大部分地域稱五區(qū)，東南歸七區(qū)。
民國二十六年（1937年）11月，屬偽固縣公署，城區(qū)及周邊稱縣城鎮(zhèn)，西南及南稱民義鄉(xiāng)。
民國三十四年（1945年），屬固陽縣，城區(qū)及周邊稱縣城鎮(zhèn)，西南及南稱民裕鄉(xiāng)。
1950年3月，稱第一區(qū)，屬固陽縣。
1955年6月，改稱城關區(qū)。
1956年10月，撤銷城關區(qū)，擴大城關鎮(zhèn)管轄范圍，城關區(qū)周邊較遠地域劃歸相鄰區(qū)。
1958年7月12月，改設為城關、公圣西2公社。
1960年3月，改設為城市、九份子、公益民、東勝水、忽雞淘5公社。
1978年5月，城市公社改為城關鎮(zhèn)。
1984年7月，九份子、公益民、東勝水、忽雞溝4公社均改鄉(xiāng)。
1993年8月，城關鎮(zhèn)改稱金山鎮(zhèn)。
2005年4月，忽雞溝、公益民2鄉(xiāng)合并為公忽雞溝鄉(xiāng)，東勝水鄉(xiāng)并入九份子鄉(xiāng)。
2005年12月，九份子、忽雞溝2鄉(xiāng)并人金山鎮(zhèn)。