清乾隆二十四年（1759），清平定大小和卓叛亂，統一新疆后，吉木乃隸屬塔爾巴哈臺參贊大臣管轄。
清同治六年（1867），清設布倫托海辦事大臣兼領塔城、阿爾泰事務，屬之。
八年（1869），撤布倫托海辦事大臣，阿爾泰歸科布多參贊大臣管轄，屬之。
光緒三十二年（1906），科布多、阿爾泰分治，吉木乃始屬阿爾泰辦事大臣管轄。
1916年，設吉木乃縣佐。
1930年，吉木乃縣佐升格為縣，隸屬阿山行政區。
1950年，屬阿山專區。
1954年，隸屬阿勒泰專區。
1970年，屬阿勒泰地區。