山丹原名刪丹，歷史悠久。
據(jù)《山丹縣志》載，刪丹古城在焉支山谷地近鐘山寺處，“以曉日出映，丹碧相間如‘刪’字，又名刪丹山，而縣以此得名”。
夏帝禹元年，山丹屬《禹貢》雍州之域，西戎氏之故墟。
禹封少子于西戎，世代為首領(lǐng)。
周穆王十三年，祭公率師隨穆王西征，西戎歸順。
西周時(shí)期，戎、狄兩族在這里居住。
春秋戰(zhàn)國(guó)時(shí)，烏孫與月氏共居河西。
其后，月氏逐烏孫而獨(dú)居。
秦漢之際，北方的匈奴族強(qiáng)大起來(lái)，擊敗并趕走了月氏人，河西遂為匈奴右賢王的領(lǐng)地。
黑河?xùn)|、西分別由休屠王、渾邪王分領(lǐng)。
西漢時(shí)期，武帝元狩二年（前121），驃騎將軍霍去病進(jìn)軍河西，戰(zhàn)敗匈奴，渾邪、休屠二王率眾歸漢。
漢元鼎六年（前111年），取“張國(guó)臂掖，以通西域”之意，置張掖郡，山丹為張掖郡治。
東漢始建國(guó)元年（9年），王莽廢漢立新，令天下改郡、縣名。
張掖郡改名設(shè)屏郡、觻得改名官式。
山丹為設(shè)屏郡治。
建武三年（27年），光武帝劉秀令各郡、縣恢復(fù)舊名。
張掖郡及各縣恢復(fù)原名稱。
獻(xiàn)帝興平元年（194年）六月，分張掖郡之日勒、山丹置西郡。
兩晉南北朝時(shí)期，沮渠蒙遜在山丹建立北涼國(guó)，都建康（今高臺(tái)縣駱駝城）。
隋初改為山丹衛(wèi)，大力發(fā)展農(nóng)業(yè)生產(chǎn)，山丹成為中國(guó)對(duì)外貿(mào)易的重要場(chǎng)所。
五代時(shí)，后梁乾化元年（911年），甘州回鶻攻沙州，張承奉力屈，訂城下之盟。
后唐莊宗同光二年（924年）六月，甘州回鶻遣使向后唐納貢，乃冊(cè)封王仁美為英義可汗。
后唐明宗天成三年（928年），甘州回鶻王仁裕（仁美之弟）遣使納貢，被封為奉化可汗。
北宋時(shí)期，天圣六年（1028年），黨項(xiàng)族首領(lǐng)李元昊擊敗甘州回鶻，建立西夏。
元時(shí)期，置甘肅行省，山丹為省會(huì)。
意大利旅行家馬可波羅前往上都途中，曾在甘州停留一年，在《馬可·波羅游記》中記述了張掖的富庶、城市的規(guī)模以及宗教寺廟的宏偉。
明時(shí)期，山丹為陜西行都司及甘肅鎮(zhèn)的治所。
清時(shí)期，改置山丹縣，山丹為甘州府治所，甘肅提督統(tǒng)軍駐地，節(jié)制涼州、肅州、西寧、寧夏四鎮(zhèn)總兵。
2002年屬地級(jí)張掖市。
2014年，撤銷東樂(lè)鄉(xiāng)、陳戶鄉(xiāng)、大馬營(yíng)鄉(xiāng)，設(shè)立東樂(lè)鎮(zhèn)、陳戶鎮(zhèn)、大馬營(yíng)鎮(zhèn)。
調(diào)整后，全縣轄6個(gè)鎮(zhèn)、2個(gè)鄉(xiāng)：清泉鎮(zhèn)、位奇鎮(zhèn)、霍城鎮(zhèn)、東樂(lè)鎮(zhèn)、陳戶鎮(zhèn)、大馬營(yíng)鎮(zhèn)、老軍鄉(xiāng)、李橋鄉(xiāng)。
同年，清泉鎮(zhèn)、位奇鎮(zhèn)被列為全國(guó)重點(diǎn)鎮(zhèn)。