小西銘村原為西銘的附屬小村，乾隆年間分理村事被叫作小西銘村，一直沿用至今。
1953年，太原市第五區(qū)劃鄉(xiāng)，小西銘村歸于西銘鄉(xiāng)人民政府管轄。
1956年，萬柏林區(qū)調(diào)整為下轄1鎮(zhèn)、8鄉(xiāng)、4街，小西銘村屬西銘鄉(xiāng)人民政府。
1961年5月，太原市區(qū)劃調(diào)整，區(qū)域內(nèi)所轄大小人民公社分別劃歸北郊區(qū)、河西區(qū)。
小西銘當(dāng)時為生產(chǎn)大隊，歸西銘人民公社管理。
1962年初，屬于河西區(qū)東社人民公社下的小西銘生產(chǎn)大隊。
1970年，屬于北郊區(qū)西銘人民公社管理。
1978年，小西銘新村建成，1981年，太原市北郊區(qū)下設(shè)人民公社革委會15個，生產(chǎn)大隊180個，小西銘村為小西銘生產(chǎn)隊，屬于西銘生產(chǎn)大隊。
1984年，北郊區(qū)恢復(fù)實行鄉(xiāng)（鎮(zhèn)）村制，全區(qū)設(shè)居民委員會，小西銘生產(chǎn)大隊更名為小西銘村委會。
1997年，撤銷了北郊區(qū)建制，從北郊區(qū)劃歸萬柏林區(qū)。
1998年，屬于萬柏林區(qū)西銘鄉(xiāng)人民政府，仍為小西銘村委會。
2006年，萬柏林區(qū)劃調(diào)整，小西銘村劃歸西銘街道辦事處管轄，地名沿用至今。