1949年前為哨馬鄉4保。
1950年為哨馬鄉4村。
1952年為香山鄉1村。
1956年農業合作化時為大佛鄉聯合1、2、3社，1958年為大佛公社2大隊。
1962年為香山公社3大隊。
1966年文革時改名光華公社3大隊。
1981年地名普查時為香山公社香山大隊。
1984年公社改鄉為香山鄉香山村，屬羅渡區。
1992年，撤羅渡區，香山鄉并入大佛鄉，為大佛鄉香山寺村。
2019年大佛鄉并入羅渡鎮，為羅渡鎮香山村。
2020年5月，趙家溝村并入。