楊家山村清代屬張志里；民國時期屬第四區(qū)東堡編村管轄；1949年屬第四區(qū)（駐壇鎮(zhèn)）；1953年仍屬第四區(qū)東堡鄉(xiāng)；1958年8月，中共中央作出《關(guān)于在農(nóng)村建立人民公社問題的決議》，我國全面開展人民公社化運動，實行政社合一、撤鄉(xiāng)建社，農(nóng)業(yè)生產(chǎn)合作社改稱為生產(chǎn)大隊；實行生產(chǎn)資料分別歸公社、生產(chǎn)大隊、生產(chǎn)隊三級組織所有的體制；1958年屬鋼鐵（南關(guān)）人民公社東堡管理區(qū)；1961年屬壇鎮(zhèn)人民公社，為楊家山生產(chǎn)大隊；1983年10月，中共中央、國務院聯(lián)合發(fā)出《關(guān)于實行政社分開建立鄉(xiāng)政府的通知》，要求實行政社分開，恢復鄉(xiāng)鎮(zhèn)，建立鄉(xiāng)（鎮(zhèn)）人民政府；同時，生產(chǎn)大隊改為村民委員會，撤銷生產(chǎn)大隊管理委員會。
靈石縣委、縣政府根據(jù)中共山西省委通知，在全縣進行基層政權(quán)體制改革，故將壇鎮(zhèn)人民公社改為壇鎮(zhèn)鄉(xiāng)，楊家山生產(chǎn)大隊改為楊家山村民委員會，1983年至今屬壇鎮(zhèn)鄉(xiāng)管轄。