“十二邦”時期，康馬一帶為“杰依芒布王”屬地。
吐蕃政權(quán)時期，康馬地方隸屬“如拉茹”管轄，設(shè)有“康薩東迪”和“格沖東迪”。
9世紀(jì)中葉，吐蕃陷入分裂割據(jù)時期，康馬地方起初為桂氏屬地，后成為娘麥杰氏領(lǐng)地。
13世紀(jì)，元朝薩迦政權(quán)將康馬一帶劃歸“夏魯萬戶”管轄。
14世紀(jì)中葉，康馬成為第一代江孜法王囊欽帕巴貝桑的轄區(qū)。
并沿襲至甘丹頗章政權(quán)建立。
17世紀(jì)中葉，清朝甘丹頗章政權(quán)將其劃歸江孜宗管轄。
1962年10月，將江孜縣部分行政區(qū)域劃出，設(shè)置康馬縣，隸屬江孜專區(qū)。
1964年5月，撤銷江孜專區(qū)，康馬縣劃歸日喀則專區(qū)。
1983年10月，恢復(fù)江孜地區(qū)，康馬縣劃歸江孜地區(qū)。
1988年，撤銷江孜地區(qū)，康馬縣劃歸日喀則地區(qū)。
2014年6月，撤銷日喀則地區(qū)，設(shè)立地級日喀則市，康馬縣隸屬日喀則市。