靈芝山村村民委員會所在地，清代屬宜都縣安福鋪；1930年屬宜都縣第四區(qū)；1944年屬宜都縣組建江北淪陷區(qū)辦事處安福寺鎮(zhèn)；1949年5月屬宜都縣第三區(qū)；1950年3月屬宜都縣安福寺區(qū)。
靈芝山村前身是1956年成立的五星高級農(nóng)業(yè)社，屬宜都縣安福寺指導(dǎo)組林新鄉(xiāng)；1958年10月更名為五星生產(chǎn)隊，屬安福寺公社林新管理區(qū)；1961年5月改為五星大隊，屬安福寺區(qū)林新公社；1962年10月屬枝江縣安福寺區(qū)林新公社；1975年2月撤區(qū)并社，屬安福寺區(qū)公社林新管理區(qū)；1984年1月改為靈芝山村，屬安福寺區(qū)靈芝山鄉(xiāng)；1987年10月屬安福寺鎮(zhèn)至今。