清初稱“察霍勒屯”，“察霍勒”為蒙古語"水鸛鳥"之意。
清末設置驛站，為“布海（布特哈--海倫）官道”第三站，故又稱三站。
清初，克山一帶為鄂倫春、鄂溫克、達斡爾等游牧民族的狩獵區，歸布特哈總管管轄。
清光緒三十二年（1906），隸屬東布特哈總管管轄。
清宣統元年（1909），"布海官道"修竣后，在今克山鎮設第三站，翌年改隸訥河直隸廳管轄。
1913年訥河縣于此設置察霍鎮。
1915年3月，劃歸克山設治局，同年8月改隸克山縣，遂為縣城。
1929年全縣劃分為5個大區，屬第一區境內。
東北淪陷后，1933年設縣城保，1938年改設克山街。
1945年"九三"抗日戰爭勝利后，1946年將克山街劃為第一區、第二區和城郊區。
1948年8月，將縣城內第一區與第二區合并為城關區，1952年改為第一區。
1955年5月，改為城關鎮，同年10月改為克山鎮。
1958年9月，改稱克山鎮人民公社。
1980年恢復克山鎮名稱，名稱沿用至今。