1949年屬第六區(qū)。
1950年屬第七區(qū)。
1954年，平遙縣撤銷(xiāo)區(qū)級(jí)建制，設(shè)香樂(lè)鄉(xiāng)。
1958年9月屬以寧固為中心的火箭人民公社。
1958年12月屬寧固公社。
1961年12月設(shè)香樂(lè)公社。
1971年4月，劃歸呂梁地區(qū)汾陽(yáng)縣管轄。
1977年10月復(fù)歸平遙縣管轄。
1984年更名為香樂(lè)鄉(xiāng)，2001年2月，根據(jù)山西省人民政府《關(guān)于平遙縣調(diào)整鄉(xiāng)鎮(zhèn)行政區(qū)劃的批復(fù)》（晉政函〔2001〕42號(hào)）文件，撤鄉(xiāng)并鎮(zhèn)，將西王智鄉(xiāng)整體并入香樂(lè)鄉(xiāng)，設(shè)置新的香樂(lè)鄉(xiāng)。