明末清初，這里稱鄂爾多斯左翼前旗北部地。
清宣統(tǒng)三年（1911年）~1954年，屬準(zhǔn)格爾旗，稱準(zhǔn)格爾地。
民國(guó)十七年（1928年）~1949年，部分村屬托克托縣。
民國(guó)二十八年（1939年）~民國(guó)三十四年（1945年），屬準(zhǔn)格爾旗偽西官府。
1949年10月，屬準(zhǔn)格爾旗。
1955年，劃歸薩拉齊縣。
1956年，撤區(qū)劃鄉(xiāng)，為將軍堯鄉(xiāng)，屬二旺堯大鄉(xiāng)。
1958年10月，將軍堯、四家堯、黨三堯、程奎海等鄉(xiāng)組成團(tuán)結(jié)公社。
1959年，更名將軍堯公社。
1961年9月，將軍堯公社分為黨三堯鄉(xiāng)、四家堯、程奎海、將軍堯4公社。
1969年1月，土默特旗分為左、右兩旗，屬土默特右旗。
1981年，四家堯公社遷到小召子村，改名小召子公社。
1984年9月，公社改鄉(xiāng)。
2001年4月，程奎海鄉(xiāng)并入小召子鄉(xiāng)。
2006年2月，將軍堯、黨三堯、小召3鄉(xiāng)合并為將軍堯鎮(zhèn)。