1949年8月前屬鳴盛鄉、清明鄉。
1950年8月后屬湘東區青山、葡萄、溫盤、樟樹4鄉。
1956年樟樹鄉并入湘東區瀾潭鄉，其它3鄉合并為青山鄉，屬萍鄉鎮。
1957年從萍鄉鎮分設青山鄉。
1958年青山鄉復屬萍鄉鎮，葡萄、溫盤2鄉改屬湘東公社。
1961年2月成立青山鎮，轄青山、朝陽、光輝、葡萄、烏石、大城大隊，屬城關區。
1962年分設為大城公社和青山鎮。
葡萄、烏石、大城和湘東公社的溫盤、高枧、甘泉、柳源、樟里、五里亭大隊屬大城公社；青山、朝陽、光輝大隊屬青山鎮。
1964年青山鎮并入萍鄉鎮。
1965年又從萍鄉鎮分出；大城公社合并到湘東公社。
1969年將湘東公社所轄的溫盤、高枧、下柳源、烏石、大城、葡萄大隊和福田公社的上柳源大隊劃歸青山鎮。
1971年3月成立城關區，屬城關區。
1972年源頭大隊從上栗區福田公社劃入青山鎮溫盤村，1973年從溫盤村劃出，名源頭大隊。
1993年5月改稱安源區青山鎮。
1997年彭家源村更名光輝村。
2003年9月水口村并入青山村。
2005年11月新生村、絲草塘居委會并入新建居委會，建設居委會并入七一居委會，五一、張家山居委會并入八一居委會，油榨沖居委會并入水口居委會，設立香爐山居委會。