戰(zhàn)國(guó)初為代地和樓煩地，后為趙國(guó)屬地。
秦屬雁門郡，漢屬雁門郡、汪陶、陰館縣地。
靈帝時(shí)，因戰(zhàn)亂縣廢，西晉初為汪陶、陰館縣地，永嘉后縣又廢。
北魏為桑干郡桑干縣地。
北齊為神武郡，神武縣地。
北周為廣安郡神武縣地，隋為馬邑郡神武縣地。
唐初為朔州馬邑縣地。
后歸入應(yīng)洲金城縣。
五代隸屬寰洲和應(yīng)洲。
遼置河陰縣，以治所在桑干河之南得名，屬朔州。
清寧中改屬應(yīng)洲。
金大定七年（1167）改名山陰縣，取地處復(fù)宿山之北之意，金貞佑二年（1214）升山陰縣為忠州。
元至元年間，忠州城因水淹沒，縣地并入金城縣，后復(fù)置山陰縣，縣沿遷至今古城鎮(zhèn)。
明制稱山陰縣，屬應(yīng)洲。
清制為山陰縣，屬大同府。
民國(guó)初，山陰縣屬雁門道，后直隸山西省。
1937年，日軍侵占本縣，縣沿移至岱岳鎮(zhèn)，新中國(guó)成立后，山陰縣屬察哈爾省雁北專署。
1952年，山陰縣改屬山西省雁北專署。
1958年11月，山陰、應(yīng)縣合并為山陰縣。
縣政府駐岱岳鎮(zhèn)，1959年7月，應(yīng)縣、山陰分治。
1959年1月至1961年8月，雁北專署與忻縣專署。
合并為晉北專區(qū)。
本縣屬晉北專區(qū)，后復(fù)歸屬雁北專署。
1979年11月，恢復(fù)山陰縣，屬雁北專署。
1989年1月，山陰縣劃歸朔州市，沿用至今。