夏禹時屬豫州之域。
商末為摯國地。
西周為沈、蔡、房、道、江諸國地。
春秋為沈、蔡二國地。
戰(zhàn)國屬楚之上蔡縣。
秦屬陳郡。
西漢高帝四年（前203）設(shè)汝南郡。
東晉隆和元年（362）汝南郡治由新息（現(xiàn)息縣西南）遷懸瓠城（今汝南縣汝寧街道）。
義熙九年（413）以淮西為北豫州，治汝南。
南朝宋永初二年（421）改北豫州為豫州，懸瓠城為豫州、汝南郡治。
元嘉末（450）僑置司州。
北魏皇興二年（468）在此置南豫州。
太和十九年（495）改稱豫州，豫州、汝南郡、上蔡縣同治懸瓠城。
東魏置河南大行臺、懸瓠都督，轄十三州。
北周大象二年（580）改豫州為舒州。
隋開皇元年（581）改舒州為豫州。
三年罷天下諸郡，廢汝南郡。
仁壽四年（605）改豫州為溱州。
大業(yè)二年（606）改溱州為蔡州，改縣名為汝陽，保城縣并入，三年改蔡州為汝南郡，十三年（617）歸瓦崗軍，復稱豫州。
次年歸王世充。
唐武德四年（621）復置豫州。
寶應元年（762）改豫州為蔡州。
貞元七年（791）析境西北部置汝南縣。
元和十三年（818）廢汝南縣入汝陽縣。
歷為豫許汝節(jié)度使、淮西節(jié)度使等使治。
宋屬蔡州，為淮康軍治。
金初屬南京路蔡州。
泰和八年（1208）為鎮(zhèn)南軍節(jié)度使使治。
金亡，地屬蒙古。
元至元七年（1270）遂平、平輿縣省入汝陽縣。
三十年升蔡州為汝寧府，屬河南江北行省，治所仍故。
大德八年（1304）復置遂平縣。
明屬河南布政使司汝寧府。
洪武元年（1368）裁汝陽縣、上蔡縣、新蔡、沈丘入府。
四年（1371）復置汝陽縣、上蔡縣，息州真陽縣廢入汝陽縣。
十年確山縣省入，十三年復置。
弘治十八年（1505）重置真陽（今正陽）縣。
清沿明制。
1912年屬汝寧府。
1913年改汝陽縣為汝南縣，屬豫南道。
1914年屬汝陽道。
1927年直屬河南省。
1932年屬河南省第八行政督察區(qū)。
1949年屬信陽專區(qū)。
1950年設(shè)汝南市，與縣并存。
1951年撤銷汝南市，析出東部8個區(qū)置平輿縣，將上蔡縣的6個鄉(xiāng)劃入汝南縣。
1953年張教莊鄉(xiāng)的16個村和王樓鄉(xiāng)的4個村劃入確山縣。
1965年屬駐馬店專區(qū)。
1969年屬駐馬店地區(qū)。
2000年屬駐馬店市。
2002年水屯鎮(zhèn)劃入駐馬店驛城區(qū)。