克山一帶，清代屬布特哈游牧地，清末添設民官，歸訥河直隸廳管轄。
中華民國成立后，1915年3月18日，于訥河縣屬三站地方設量克山設治局，隸屬龍江道管轄，衙暑初設二克山。
同年8月2日批準，改設克山縣，后將縣署移駐三站（亦稱察霍鎮(zhèn).今克山縣城）。
1929年2月，裁撤龍江道，改由省直轄。
11月，將二克山一帶劃出設置克東設治局。
東北淪陷后，初隸黑龍江省，1934年12月劃歸龍江省管轄。
1939年6月，劃歸新設之北安省管轄。
1945年"九三"抗日戰(zhàn)爭勝利后，隸屬黑龍江省管轄。
1954年8月，松江、黑龍江兩省合并后，由省直轄。
1956年3月，劃歸嫩江專區(qū)管轄。
1960年5月至1961年10月，嫩江專區(qū)一度撤銷時，曾歸齊齊哈爾市領(lǐng)導。
1985年1月，嫩江地區(qū)正式撤銷，劃歸齊齊哈爾市領(lǐng)導。
名稱沿用至今。