1949年解放初期，隸屬冷集區小墨山鄉。
1956年高級農業生產合作社時期以美好愿望命名為光明社隸屬縣轄雙橋鄉。
1958年人民公社時期更名為光明大隊，隸屬東風人民公社雙橋管理區。
1961年恢復區制，隸屬冷集區雙橋公社。
1975年撤區并社，隸屬冷集人民公社。
1981年根據縣政府第27號文件以當地地名命名為小墨山大隊，并分出吳家溝大隊。
1984年更名為小墨山村隸屬冷集區雙陽橋鄉。
1987年撤區建鎮，隸屬冷集鎮。
2002年吳家溝村合并到小墨山村至今。