在夏、商、西周時為雍州、梁州邊鄙；春秋時屬牂牁國；戰國時屬大夜郎國；秦始皇三十三年（前214）屬象郡；漢時屬且蘭縣；前112，漢滅且蘭君，以原且蘭縣城為治所置牂牁郡，開陽屬之；魏蜀吳三國、晉朝、南朝宋齊梁陳和隋朝時均屬牂牁郡；唐貞觀四年（630）在今縣境西面雙流同知衙置蠻州，后棄為化外；宋蠻州改稱大萬谷落總管府，開陽屬之；元皇慶元年（1312）在今縣城東置乖西軍民府；明洪武四年（1371），置順元路，合水西安氏、水東宋氏二土司地置貴州宣慰治所從大羊場（今開陽縣城）；永樂元年（1403）于開陽境重置乖西軍民府。
明崇禎三年（1630）貴州宣慰同知宋嗣殷因反朝廷被革職，其轄地陳湖十二馬頭地改置為開州；清康熙二十六年（1687）開州屬貴陽府；1914年改開州為紫江縣，隸黔中道；1917年改隸貴州省長公署；1927年隸省政府；1930年紫江縣改稱開陽縣；1935年開陽改隸省第一督查區；1937年后改由省政府直轄。
1949年11月15日中國人民解放軍解放開陽，解放后初隸貴陽專區；1952年11月貴陽專區改為貴定專區，開陽縣屬貴定專區；1956年4月18日劃歸安順專區；1958年12月29日改隸貴陽市為郊區縣；1963年10月21日改屬遵義專區；1965年12月25日復歸安順專區；1966年2月2日，經黨中央、國務院批準設立開陽特區，開陽磷礦礦務局與開陽特區合署辦公，隸屬貴陽市，內設政治辦公室、人事辦公室、農林辦公室、財貿辦公室、文衛辦公室、組織科、宣傳科、財政局、公安局、團委、婦聯等；1968年3月24日，撤消開陽特區，并入安順專區開陽縣（貴州省革命委員會、貴州省軍區1968年3月14日批準）；1970年安順專區改為安順地區；1996年1月開陽劃入貴陽市。