新石器時代中、晚期，今錫林河水庫西側(cè)發(fā)現(xiàn)有人類活動遺址。
先后出土砍砸器、刮削器及石核、石片等石器，證明距今4000—6000年以前已有人類在錫林浩特境內(nèi)繁衍生息，從事游獵養(yǎng)畜和原始手工業(yè)生產(chǎn)。
漢朝時期，為上谷郡北境。
晉朝時期，為拓跋氏地。
隋唐時期，為突厥所據(jù)。
遼朝時期，為上京道西境。
金朝時期，為北京路西北境。
元朝時期，屬上都路。
明朝時期，入于蒙古。
清朝時期，為蒙古阿巴哈納爾部駐地。
清康熙六年（1667年），詔授札薩克多羅貝勒世襲罔替，遣官指示阿巴嘎部移牧他所，以舊牧地給阿巴哈納爾。
棟伊思喇布掌左翼，佐領(lǐng)九，駐烏勒陀羅海（《大清會典》作阿爾噶靈圖山）。
色棱墨爾根掌右翼，佐領(lǐng)七，駐昌山（又名永安山）。
阿巴哈納爾左翼設(shè)旗，自清康熙六年（1667年）至民國三十五年（1946年），12代札薩克共執(zhí)政280年。
阿巴哈納爾左翼旗廟由貝子爵管轄，故錫林浩特地區(qū)得名貝子廟。
民國二十二年（1933年），錫林郭勒盟建立偽蒙疆聯(lián)合自治政府。
貝子廟被偽蒙疆聯(lián)合自治政府控制。
民國二十七年（1938年），駐貝子廟的日本軍隊組織偽錫林郭勒盟政府、偽旗政府。
民國三十五年（1946年），內(nèi)蒙古自治運動聯(lián)合會轉(zhuǎn)移到貝子廟，錫林郭勒盟分會和政府組織工作隊在阿巴哈納爾左旗改造舊政權(quán)，建立了人民民主政權(quán)，阿巴哈納爾左旗支會隸屬錫林郭勒盟分會。
民國三十六年（1947年），在貝子廟成立了中共錫（錫林郭勒）、察（察哈爾）、巴（巴彥塔拉）、烏（烏蘭察布）工委。
民國三十七年（1948年），阿巴哈納爾左旗歸中部中心旗工委。
1949年，阿巴哈納爾左翼旗劃歸錫林郭勒盟中部聯(lián)合旗；阿巴哈納爾右翼旗劃歸錫林郭勒盟西部聯(lián)合旗。
1952年5月26日，經(jīng)內(nèi)蒙古自治區(qū)人民政府批準(zhǔn)，中部和西部聯(lián)合旗合并，統(tǒng)稱錫林郭勒盟西部聯(lián)合旗。
1953年9月15日，經(jīng)錫林郭勒盟人民政府批準(zhǔn)，貝子廟改稱錫林浩特（鄉(xiāng)科級），統(tǒng)稱西部聯(lián)合旗錫林浩特人民政府。
1956年7月3日，經(jīng)國務(wù)院批準(zhǔn)，將西部聯(lián)合旗改稱阿巴嘎旗。
同年8月21日，錫林浩特受錫林郭勒盟直接領(lǐng)導(dǎo)，鄉(xiāng)科級建制不變。
1959年4月15日，錫林浩特升格為旗（縣）級浩特，盟直接管轄。
1963年10月23日，經(jīng)國務(wù)院批準(zhǔn)，錫林浩特改設(shè)為阿巴哈納爾旗。
1979年12月14日，阿巴哈納爾旗的“哈”字改為“嘎”字。
1983年10月10日，經(jīng)國務(wù)院批準(zhǔn)，撤銷阿巴嘎納爾旗，改設(shè)錫林浩特市（縣級市）。