清同治八年（1869），青山被列為江夏六鎮之一，境域為北鄉，轄保安一、保安二、永豐一、永豐二、招賢、橫山6里。
1927年廢道，武昌縣直屬湖北省，設16區，青山為武昌縣第八區。
1934年，武昌縣隸湖北省第一行政督察區，設10區，為武昌縣第六區。
1937年，武昌縣設5區，為武昌縣第五區。
1938年10月，武昌淪陷。
次年，國民政府設敵后武昌縣政府，隸鄂南行政專署，為敵后武昌縣政府轄地。
1942年，中共在武昌縣北設立武鄂政務委員會抗日民主政府，為武鄂政務委員會抗日民主政府轄地。
1945年８月，日本投降，武昌縣隸湖北省第一行政專署，屬武昌縣。
1949年5月，武昌縣解放。
6月，武昌縣政府正式成立，轄7個區。
第二區駐青山鎮，轄45個保、491個甲。
1950年2月，武昌縣第二區改稱第九區，由于所轄沙窯保（亦稱沙口）地處長江北岸不便管理，被湖北省人民政府劃入黃陂縣。
4月，廢除舊政權實行的保甲制度，建立34個行政村級政權組織。
7月，重建鄉（鎮）級政權組織，將34個行政村改組為24個鄉人民政府、1個鎮人民政府。
1951年6月，在中南局民政部主持下，湖北省、武漢市會同武昌縣將武漢市擴大市區范圍界定。
7月，為適應經濟建設發展的需要，中南軍政委員會報經中央政務院批準：同意武漢市擴展市界。
12月4日，湖北省大冶專署武昌縣第九區全部劃入武漢市，并正式建立武漢市青山區人民政府，隸屬武漢市人民政府郊區辦事處。
青山區政府駐青山鎮，轄24個鄉、1個鎮。
區境范圍：由武豐鄉至胡墩鄉，東西長30千米。
由青山鎮至陳家井鄉，南北寬15千米，總面積246平方千米。
1952年6月16日，湖北省、武漢市政府聯合發出通知：奉中央及中南局指示，武漢市除酌留風景區外，暫不擴大。
青山區原有彭家嶺鄉、武豐鄉、龍王鄉、鐵鋪嶺鄉等4個鄉留作武漢市郊轄，其余21個鄉鎮仍劃歸武昌縣轄。
武漢市青山區撤銷。
1955年2月，湖北省人民委員會決定：“根據武漢鋼鐵公司建設及城區副食品生產基地需要，對武漢市區劃進行調整”。
將原武昌縣第九區的21個鄉鎮再次劃入武漢市。
2月15日，武漢市青山區人民政府正式建立，駐青山鎮。
轄24個鄉、1個鎮。
1955年4月，武漢市調整郊區區劃，組建4個郊區。
即：洪山區、青山區、漢橋區、南湖區，并將洪山區的3個鄉（同意鄉、沿江鄉、白滸鄉）劃入青山區。
時青山區北接市界，西由紫荊山順沙湖邊到張家兵房、水果湖邊，沿東湖、小湯林湖邊到胡雙堂、熊家嘴、毛家嘴，沿吳家大橋到東港止，全區有27個鄉和1個鎮，水陸總面積264平方千米。
1955年，新中國成立后興建的第一個特大型鋼鐵聯合企業一一武漢鋼鐵（集團）公司在位于青山區的中東部破土動工，占地25平方千米。
由中國一冶集團有限公司承建。
1956年6月，武漢市調整郊區區、鄉行政區劃，將洪山區的花山、春和、聯合、中合、大吳、劉黃、山湖等7個鄉劃歸青山區。
1957年6月，武漢市將青山區所轄天興、建設、黎明、紅旗、聯合、和平、白滸、游家廟、駝子店等9個鄉全部劃歸洪山區管轄。
1963年4月，武漢市將武昌區的白滸公社、沿江漁業公社和洪山區的聯合公社劃入青山區。
將洪山區和平公社的白鶴嘴、長山嘴、白楊橋等3個生產隊劃入青山區聯合公社，將其陳家嘴、八大家、油坊嶺、落王廟、大洲等5個生產隊劃入青山區環城公社。
至此，青山區下轄9個農村人民公社，即：黎明、建設、紅旗、環城、火官、天興、白滸、沿江、聯合。
1964年8月，武漢市調整農業管理體制，將青山區所轄的9個農村人民公社全部劃歸洪山區，境域面積縮小4/5。
2009年5月，武漢市調整武昌、青山、洪山三區插花地帶，將洪山區建設鄉與和平街的13個村和2個社區的全部區域，及4個行政村的部分區域劃歸青山區管理，將青山區廠前街的自建社區全部劃歸洪山區管理。
此次調整使青山區土地面積增加23.85平方千米。
2009年青山區內的武漢鋼鐵（集團）公司一舉躋身世界500強，列中國500強企業第56名、武漢市100強企業第2名。
沿用至今。