白玉山街境域原是武昌縣第九區(qū)的余家土庫鄉(xiāng)。
1975年初，武鋼開始在此籌建第二職工生活區(qū)。
1981年7月，成立白玉山街辦事處，設4個居民委員會。
1984年7月，為便于管理，對戶數較多的居委會進行重新調整，增設3個居委會，街轄居委會總數增至7個。
1987年，武鋼在街境內新建2個街坊和武鋼第二職工醫(yī)院，街轄居委會總數增至12個。
1990年，增設1個居委會。
1991年-1992年，武鋼第二生活區(qū)部分住宅竣工，先后有1100戶、6317名職工家屬遷入白玉山街。
街道根據人口增加情況，增設4個居委會，居委會總數達到17個。
1994年，增設2個居委會，街轄居委會總數達到19個。
2000年7月，城市基層管理體制改革，原轄的19個居委會調整為10個社區(qū)居委會。
2009年，武漢市江南三區(qū)插花地調整，社區(qū)居委會增至12個，同時接收由洪山區(qū)建設鄉(xiāng)劃歸的8個行政村。