臨泉，古稱沈地。
公元前1042年，周文王第十子聃季載被封于此，建沈（子）國。
秦始皇二十六年（前221年）置寢縣，西部置平輿縣。
漢改為寖縣，同時在西部置鲖陽縣，在今鲖城置鲖陽侯國。
東漢永建元年（126年）封劉顯為阜陽侯，置阜陽侯國；還置有平輿縣。
隋開皇三年（583年）廢褒信縣置沈州，把原褒信縣分為鲖陽縣和沈丘縣。
唐朝武德元年（618年）在今縣東南部置高塘縣，六年廢，入汝陰縣。
唐朝貞觀元年（627年）廢鲖陽、沈丘兩縣交入汝陰縣。
唐朝神龍二年（706年）分汝陰復(fù)置沈丘縣仍屬潁州。
北宋屬京西北路順昌府管轄。
明初，廢沈丘縣，降為沈丘鎮(zhèn)，入潁州，屬鳳陽府。
清朝康熙六年（1667年）成立安徽省，沈丘鎮(zhèn)屬安徽省潁州管轄。
民國三年（1914年），安徽淮北設(shè)淮泗道，臨泉地方屬淮泗道阜陽縣。
民國十七年（1928年）廢道存縣，臨泉仍屬阜陽縣。
民國二十三年（1934年）9月，阜陽縣西鄉(xiāng)設(shè)立新縣，因縣城瀕臨泉河，故名臨泉縣，民國二十四年（1935年）1月正式成立臨泉縣，駐地沈丘集，屬安徽省第七專員公署。
縣下設(shè)三個區(qū)。
民國二十八年（1939年），改屬安徽省第三行政督查區(qū)。
民國三十六年至民國三十八年（1947年-1949年）分置臨泉、泉南、泉陽3縣和臨泉市，統(tǒng)規(guī)豫皖蘇區(qū)四地委、四專屬所轄。
民國三十八年（1949年）3月將臨泉、泉南、泉陽3縣和臨泉市撤銷，恢復(fù)舊臨泉縣界，成立新的臨泉縣。
1952年起屬安徽省阜陽專區(qū)。
1971年起臨泉縣屬安徽省阜陽地區(qū)。
1996年起屬安徽省阜陽市。