漢神爵三年（前59），隸西域都護府。
唐朝屬北庭都護府。
元朝歸別失八里行尚書省。
明代為衛拉特蒙古游牧的。
清平定準噶爾后為新土爾扈特蒙古游牧的。
乾隆年間（1736-1795）。
哈薩克中玉茲的阿巴克克烈部和乃曼部遷入，為科布多參贊大臣轄地，由烏里雅蘇臺定邊左副將軍統領。
清光緒二十九年（1903），清政府置哈巴河屯局。
光緒三十一年（1905），屬阿爾泰辦事大臣管轄。
1912年，置哈巴河設治局。
1920年，設哈巴河縣佐，隸屬布爾津縣。
1930年3月，析置哈巴河縣，隸屬阿山行政區。
1950年，屬阿山專區。
1951年正式成立哈巴河縣政府。
1954年，屬阿勒泰專區。
1970年，屬阿勒泰地區。