克山一帶，清代屬布特哈游牧地，清末添設(shè)民官，歸訥河直隸廳管轄。
中華民國成立后，1915年3月18日，于訥河縣屬三站地方設(shè)量克山設(shè)治局，隸屬龍江道管轄，衙暑初設(shè)二克山。
同年8月2日批準(zhǔn)，改設(shè)克山縣，后將縣署移駐三站（亦稱察霍鎮(zhèn).今克山縣城）。
1929年2月，裁撤龍江道，改由省直轄。
11月，將二克山一帶劃出設(shè)置克東設(shè)治局。
東北淪陷后，初隸黑龍江省，1934年12月劃歸龍江省管轄。
1939年6月，劃歸新設(shè)之北安省管轄。
1945年"九三"抗日戰(zhàn)爭勝利后，隸屬黑龍江省管轄。
1954年8月，松江、黑龍江兩省合并后，由省直轄。
1956年3月，劃歸嫩江專區(qū)管轄。
1960年5月至1961年10月，嫩江專區(qū)一度撤銷時(shí)，曾歸齊齊哈爾市領(lǐng)導(dǎo)。
1985年1月，嫩江地區(qū)正式撤銷，劃歸齊齊哈爾市領(lǐng)導(dǎo)。
名稱沿用至今。