黑水古為冉馬龍地域，秦、漢為蠶陵縣地。
蜀漢于黑水境北置平康縣，后以蠶陵、平康兩縣領(lǐng)其地。
北周分屬通軌、江源、左封、廣年四縣。
隋初四縣屬汶山郡。
隋末以平康、左封兩縣領(lǐng)之。
唐武德元年（618年）廢平康，二年（619年）廢左封屬翼州。
貞觀二十一年（647年）在境內(nèi)馬橋置當(dāng)州轄通軌、左封兩縣。
顯慶元年（656年）左封縣遷駐徐古，二年（657年）置谷和縣，治地米爾垮。
文明元年（684年）在境寡古置利和縣，三年（687年）置歸城縣，治地苦瓜。
元為吐蕃宣慰司管轄，至元年二十七年（1290年），北部為松州毛爾蓋千戶領(lǐng)，其余為茂州疊溪土千戶所領(lǐng)。
明為松潘。
明初，在知木林置麥扎族長官司，明末置大姓黑水土百戶，屬松潘衛(wèi)、茂州衛(wèi)領(lǐng)地。
清在境北麥扎、烏木樹、知木林、慈壩置土守備，屬松潘廳。
道光六年（1826年）改土歸流，大姓黑水（丁寨等六寨）屬茂州管轄。
清末大黑水為梭磨宣慰司所轄，隸屬理番廳，小黑水隸屬松潘廳。
1935年屬四川省第十六行政督察區(qū)。
1952年7月24日黑水解放，9月成立黑水行政委員會縣級臨時政權(quán)。
1953年12月置蘆花縣。
1954年6月更名為黑水縣。