徐家山村明時(shí)期屬尹方里管轄；清代屬東作里，民國(guó)時(shí)屬第二區(qū)（駐靜升）延安編村；解放初期屬六區(qū)（駐兩渡）馬家山行政村管轄；1958年8月，中共中央作出《關(guān)于在農(nóng)村建立人民公社問(wèn)題的決議》，我國(guó)全面開展人民公社化運(yùn)動(dòng)，實(shí)行政社合一、撤鄉(xiāng)建社，農(nóng)業(yè)生產(chǎn)合作社改稱為生產(chǎn)大隊(duì)；實(shí)行生產(chǎn)資料分別歸公社、生產(chǎn)大隊(duì)、生產(chǎn)隊(duì)三級(jí)組織所有的體制；人民公社時(shí)期為前進(jìn)（兩渡）人民公社徐家山管理區(qū)；1983年10月，中共中央、國(guó)務(wù)院聯(lián)合發(fā)出《關(guān)于實(shí)行政社分開建立鄉(xiāng)政府的通知》，要求實(shí)行政社分開，恢復(fù)鄉(xiāng)鎮(zhèn)，建立鄉(xiāng)（鎮(zhèn)）人民政府；同時(shí)，生產(chǎn)大隊(duì)改為村民委員會(huì)，撤銷生產(chǎn)大隊(duì)管理委員會(huì)。
靈石縣委、縣政府根據(jù)中共山西省委通知，在全縣進(jìn)行基層政權(quán)體制改革，故將兩渡人民公社與兩渡鎮(zhèn)合并為兩渡鎮(zhèn)，徐家山生產(chǎn)大隊(duì)改為徐家山村民委員會(huì)，1983年鎮(zhèn)、村建制劃分為兩渡鎮(zhèn)徐家山、馬家山、李家山三個(gè)村民委員會(huì)；2005年馬家山村委、李家山村委并入徐家山村民委員會(huì)。
至今屬兩渡鎮(zhèn)管轄。