從考察有關史跡、史料得知，青山區境內一直是中華民族生存發展之地，是漢族和北方游牧民族交融之地。
明朝中期至清朝初期，境內是蒙古族土默特部落建立的大明金國居地。
清朝時期，由蒙古族烏拉特部落占據。
清末民初，從山西、陜西、河北等地陸續遷徙來大量從事農業和手工業生產的移民，他們墾田建屋，逐漸形成公忽洞、狗攔圪缽、鐮片窯子等村落。
中華人民共和國成立后，內蒙古自治區于1954年廢除旗縣并存、蒙漢分治制度。
今青山區境蒙古族也劃屬包頭市管轄。
1953年，內蒙古一、二機廠在區境選址、定點。
1954年，全區陸續開始大規模建設。
1955年，包頭市委、市政府根據工業建設需要組建新市區（包括今青山區、昆都侖區）工作組，成立新市區辦事處。
1956年8月，包頭市人民委員會決定撤銷新市區辦事處，分別成立以內蒙古一機廠、二機廠廠區和住宅區為主的青山區和以包鋼廠區和住宅區為主的昆都侖區。
在其未完成選舉以前，先成立包頭市人民委員會青山區辦事處、包頭市人民委員會昆都侖區辦事處。
1956年8月18日，新市區辦事處正式結束，青山區辦事處正式成立。
1956年11月，召開青山區人民代表大會，選舉產生青山區領導班子，正式成立縣級青山區人民委員會（后相繼改稱青山區革命委員會、人民政府），隸屬于包頭市。
2005年1月，青山區黨政大樓遷至建設路189號。
其后，其隸屬關系未發生變化。