夏禹時(shí)屬豫州之域。
商末為摯國(guó)地。
西周為沈、蔡、房、道、江諸國(guó)地。
春秋為沈、蔡二國(guó)地。
戰(zhàn)國(guó)屬楚之上蔡縣。
秦屬陳郡。
西漢高帝四年（前203）設(shè)汝南郡。
東晉隆和元年（362）汝南郡治由新息（現(xiàn)息縣西南）遷懸瓠城（今汝南縣汝寧街道）。
義熙九年（413）以淮西為北豫州，治汝南。
南朝宋永初二年（421）改北豫州為豫州，懸瓠城為豫州、汝南郡治。
元嘉末（450）僑置司州。
北魏皇興二年（468）在此置南豫州。
太和十九年（495）改稱豫州，豫州、汝南郡、上蔡縣同治懸瓠城。
東魏置河南大行臺(tái)、懸瓠都督，轄十三州。
北周大象二年（580）改豫州為舒州。
隋開皇元年（581）改舒州為豫州。
三年罷天下諸郡，廢汝南郡。
仁壽四年（605）改豫州為溱州。
大業(yè)二年（606）改溱州為蔡州，改縣名為汝陽(yáng)，保城縣并入，三年改蔡州為汝南郡，十三年（617）歸瓦崗軍，復(fù)稱豫州。
次年歸王世充。
唐武德四年（621）復(fù)置豫州。
寶應(yīng)元年（762）改豫州為蔡州。
貞元七年（791）析境西北部置汝南縣。
元和十三年（818）廢汝南縣入汝陽(yáng)縣。
歷為豫許汝節(jié)度使、淮西節(jié)度使等使治。
宋屬蔡州，為淮康軍治。
金初屬南京路蔡州。
泰和八年（1208）為鎮(zhèn)南軍節(jié)度使使治。
金亡，地屬蒙古。
元至元七年（1270）遂平、平輿縣省入汝陽(yáng)縣。
三十年升蔡州為汝寧府，屬河南江北行省，治所仍故。
大德八年（1304）復(fù)置遂平縣。
明屬河南布政使司汝寧府。
洪武元年（1368）裁汝陽(yáng)縣、上蔡縣、新蔡、沈丘入府。
四年（1371）復(fù)置汝陽(yáng)縣、上蔡縣，息州真陽(yáng)縣廢入汝陽(yáng)縣。
十年確山縣省入，十三年復(fù)置。
弘治十八年（1505）重置真陽(yáng)（今正陽(yáng)）縣。
清沿明制。
1912年屬汝寧府。
1913年改汝陽(yáng)縣為汝南縣，屬豫南道。
1914年屬汝陽(yáng)道。
1927年直屬河南省。
1932年屬河南省第八行政督察區(qū)。
1949年屬信陽(yáng)專區(qū)。
1950年設(shè)汝南市，與縣并存。
1951年撤銷汝南市，析出東部8個(gè)區(qū)置平輿縣，將上蔡縣的6個(gè)鄉(xiāng)劃入汝南縣。
1953年張教莊鄉(xiāng)的16個(gè)村和王樓鄉(xiāng)的4個(gè)村劃入確山縣。
1965年屬駐馬店專區(qū)。
1969年屬駐馬店地區(qū)。
2000年屬駐馬店市。
2002年水屯鎮(zhèn)劃入駐馬店驛城區(qū)。