從考察有關(guān)史跡、史料得知，青山區(qū)境內(nèi)一直是中華民族生存發(fā)展之地，是漢族和北方游牧民族交融之地。
明朝中期至清朝初期，境內(nèi)是蒙古族土默特部落建立的大明金國居地。
清朝時(shí)期，由蒙古族烏拉特部落占據(jù)。
清末民初，從山西、陜西、河北等地陸續(xù)遷徙來大量從事農(nóng)業(yè)和手工業(yè)生產(chǎn)的移民，他們墾田建屋，逐漸形成公忽洞、狗攔圪缽、鐮片窯子等村落。
中華人民共和國成立后，內(nèi)蒙古自治區(qū)于1954年廢除旗縣并存、蒙漢分治制度。
今青山區(qū)境蒙古族也劃屬包頭市管轄。
1953年，內(nèi)蒙古一、二機(jī)廠在區(qū)境選址、定點(diǎn)。
1954年，全區(qū)陸續(xù)開始大規(guī)模建設(shè)。
1955年，包頭市委、市政府根據(jù)工業(yè)建設(shè)需要組建新市區(qū)（包括今青山區(qū)、昆都侖區(qū)）工作組，成立新市區(qū)辦事處。
1956年8月，包頭市人民委員會決定撤銷新市區(qū)辦事處，分別成立以內(nèi)蒙古一機(jī)廠、二機(jī)廠廠區(qū)和住宅區(qū)為主的青山區(qū)和以包鋼廠區(qū)和住宅區(qū)為主的昆都侖區(qū)。
在其未完成選舉以前，先成立包頭市人民委員會青山區(qū)辦事處、包頭市人民委員會昆都侖區(qū)辦事處。
1956年8月18日，新市區(qū)辦事處正式結(jié)束，青山區(qū)辦事處正式成立。
1956年11月，召開青山區(qū)人民代表大會，選舉產(chǎn)生青山區(qū)領(lǐng)導(dǎo)班子，正式成立縣級青山區(qū)人民委員會（后相繼改稱青山區(qū)革命委員會、人民政府），隸屬于包頭市。
2005年1月，青山區(qū)黨政大樓遷至建設(shè)路189號。
其后，其隸屬關(guān)系未發(fā)生變化。