建國前屬確山縣北四保。
1949年，屬確山縣四區韓莊鄉。
1960年，建立閻樓生產大隊。
1972年，改屬駐馬店鎮。
1975年，屬韓莊人民公社。
1980年，屬確山縣。
1981年，因與汝南縣韓莊人民公社重名，以境內蘊藏優質石灰石的香山取名，更名為香山人民公社。
1983年，改設香山鄉閆樓村民委員會。
2005年，香山鄉并入朱古洞鄉，屬朱古洞鄉。
2008年，將朱古洞鄉楊樓、前張、香山、梨園、閆樓、孫店6個建制村析出，設香山街道，屬香山街道。