秦漢以前屬羌人牧地。
東漢景帝建發十九年（214），歸附漢朝。
東漢景帝建發十九年（214）歸附漢朝。
西晉時為吐谷渾轄地。
北周建德五年（576），地屬北周廓州總管府轄。
隋朝前期屬吐谷渾轄，后期屬西海郡赤水縣。
唐高宗始為吐蕃管轄。
唐天寶十二年（753），屬唐洮陽郡。
五代十國時期為吐蕃、吐谷渾、黨項、羌等勢力各霸一方，無以統屬。
北宋時屬中原王朝。
南宋時屬金國。
元代為吐蕃等處宣慰司轄地，屬河州必里萬戶符。
明代為朵甘行都指揮使司轄地，萬歷后屬河州必里千戶符。
清代屬循化廳，為和碩特前首旗（俗稱河南親王）牧地。
民國初由“青海辦事長官”及“蒙蕃宣慰使”管轄。
1935年，和碩特南左中旗劃同德縣，其余“河南三旗”由河南親王統領，隸省直轄。
1954年10月，設河南蒙古自治區（縣級）。
1955年6月，改稱河南蒙族自治縣，由省直轄。
1959年，由黃南自治州代管。
1964年，更名為河南蒙古族自治縣。