中華民國(guó)時(shí)期，屬勃利縣管轄，初隸南鄉(xiāng)，后改隸小五站鎮(zhèn)。
1931年?yáng)|北淪陷后，隸屬十一甲。
1938年日本侵略者強(qiáng)占民地，設(shè)立桃山開(kāi)拓點(diǎn)。
1945年“九三”抗日戰(zhàn)爭(zhēng)勝利后，隸屬勃利縣第五區(qū)管轄。
1948年桃山區(qū)劃歸新增設(shè)的七臺(tái)河區(qū)。
新中國(guó)成立后，1951年2月改為第十二區(qū)。
1955年5月，復(fù)改為七臺(tái)河區(qū)。
1956年3月，撤七臺(tái)河區(qū)劃鄉(xiāng)，隸屬七臺(tái)河鄉(xiāng)管轄。
1958年9月，并入七臺(tái)河人民公社，同年底劃歸七臺(tái)河礦區(qū)公社管轄；1960年3月，改隸七臺(tái)河鎮(zhèn)公社。
1965年2月，劃歸七臺(tái)河特區(qū)管轄。
1970年4月，改隸七臺(tái)河市。
同年5月，設(shè)立市屬桃山街道。
1973年6月，并入紅旗公社。
1978年9月，七臺(tái)河市政府自北山遷至桃南（今桃山區(qū)）。
1981年10月，復(fù)設(shè)桃山街道。
1984年1月21日，黑龍江省省政府批準(zhǔn)，設(shè)立桃山區(qū)，名稱沿用至今。