白土山一帶，清代屬齊齊哈爾副都統轄區。
中華民國時期，先后隸屬龍江縣第三區和第二區管轄。
東北淪陷后，初隸朱家坎保，1938年4月改隸朱家坎村。
1945年“九三”抗日戰爭勝利后，1946年6月隸屬朱家坎區，1948年改隸第三區。
1954年設白土山區。
1956年3月，并村劃鄉，設白山鄉。
1958年靠山鄉并入，同年9月后道老鄉并入，成立白山人民公社。
1960年析置東部地區成立黑崗公社。
1984年5月，白山公社改為白山鄉。
2013年10月，撤鄉設鎮，改為白山鎮，名稱沿用至今。