“十二邦”時期，康馬一帶為“杰依芒布王”屬地。
吐蕃政權時期，康馬地方隸屬“如拉茹”管轄，設有“康薩東迪”和“格沖東迪”。
9世紀中葉，吐蕃陷入分裂割據時期，康馬地方起初為桂氏屬地，后成為娘麥杰氏領地。
13世紀，元朝薩迦政權將康馬一帶劃歸“夏魯萬戶”管轄。
14世紀中葉，康馬成為第一代江孜法王囊欽帕巴貝桑的轄區。
并沿襲至甘丹頗章政權建立。
17世紀中葉，清朝甘丹頗章政權將其劃歸江孜宗管轄。
1962年10月，將江孜縣部分行政區域劃出，設置康馬縣，隸屬江孜專區。
1964年5月，撤銷江孜專區，康馬縣劃歸日喀則專區。
1983年10月，恢復江孜地區，康馬縣劃歸江孜地區。
1988年，撤銷江孜地區，康馬縣劃歸日喀則地區。
2014年6月，撤銷日喀則地區，設立地級日喀則市，康馬縣隸屬日喀則市。