夏、商屬豫州。
東周為王畿之地。
春秋時，為戎蠻子國。
魯哀公四年（前491）為楚梁邑。
戰(zhàn)國前期屬鄭，前375年先屬韓，后屬魏。
秦始皇二十六年（前221）始置梁縣，屬三川郡。
漢、西晉屬司隸部河南郡。
317年屬東晉，后屬前趙。
329年屬冉魏，改梁縣為南汝原縣。
365年屬前燕，隸河南郡。
369年屬前秦，隸豫州。
394年屬后秦。
417年屬東晉。
北魏孝昌二年（526）置汝北郡，隸北荊州。
北齊改南汝原縣為汝原縣。
東魏武定八年（550）改汝北郡為汝陰郡。
北周建德六年（577）將汝陰郡改為和州，屬南襄城郡。
隋開皇四年（584）改和州為伊州。
大業(yè)初年置承休縣，二年（606）改伊州為汝州（今市區(qū)），后又改為襄城郡。
唐貞觀元年（627）承休縣并入梁縣，八年（634）改襄城郡為汝州。
先天二年（712）置臨汝縣。
五代后梁開平元年（907）汝州隸防御使司。
后周顯德三年（956）改臨汝縣為鎮(zhèn)，入梁縣。
宋政和四年（1114）升為陸海軍節(jié)度，隸京西北路。
金代復為汝州，隸河南路。
八年改隸南陽府。
明洪武初（1368）撤梁縣入汝州，仍隸南陽府。
成化十二年（1476）汝州由南陽府分出，十二年州東南部析置寶豐縣，西南部析置伊陽縣（今汝陽），與魯山、郟縣同屬汝州。
1912年屬河洛道。
1913年改直隸汝州為臨汝縣。
1944年屬豫陜鄂五專區(qū)。
1947年屬許昌專區(qū)。
1954年屬洛陽專區(qū)。
1986年屬平頂山市。
1988年撤銷臨汝縣，設立汝州市（縣級）。