民國時期屬白雀區。
1941年屬白雀鄉。
1947年屬光商縣。
1948年屬白雀縣。
1949年5月屬白雀區。
1949年7月屬第三區白雀區。
1951年8月屬第九區白雀區。
1958年屬白雀鄉管轄，同年8月鄉改公社，名為賽山生產大隊，屬白雀公社管轄，同年11月公社改區，屬白雀生產管理區。
1959年復置人民公社，復屬白雀人民公社。
1961年再置區，屬白雀區。
1962年再撤區，復屬白雀人民公社。
1983年置鄉，賽山生產大隊更名為賽山村民委員會，屬白雀鄉管轄。
2005年11月白雀鎮更名為白雀園鎮，屬白雀園鎮管轄至今。