因在汝河之南，故名。汉为汝阳，似为后来河水改道所置。一说西汉置汝南郡，因辖区大部分在汝河流域南部，故名。隋置汝阳县。1913年改为汝南县，1950年改汝南市，1951年撤市复县。
1996年?，汝南县面积1580平方千米，人口80万人。辖6个镇、15个乡：汝宁镇、王岗镇、马乡镇、和孝镇、老君庙镇、留盆镇、三门闸乡、三里店乡、张岗乡、南余店乡、三桥乡、王庄乡、常兴乡、舍屯乡、官庄乡、韩庄乡、水屯乡、罗店乡、张楼乡、金铺乡、板店乡。县政府驻汝宁镇。
？年，撤销金铺乡，设立金铺镇。调整后，汝南县辖7个镇、14个乡。
2000年第五次人口普查，汝南县常住总人口784005人，其中：汝宁镇53702人、王岗镇19861人、马乡镇44497人、和孝镇31109人、老君庙镇42055人、留盆镇52988人、金铺镇45835人、水屯镇62450人、三门闸乡55763人、三里店乡41175人、三桥乡58857人、张岗乡19708人、南余店乡21003人、大王庄乡24364人、常兴乡26725人、官庄乡21727人、舍屯乡20745人、韩庄乡33517人、罗店乡45344人、张楼乡31518人、板店乡31062人。
2001年12月25日，经国务院批准（国函[2001]172号）将汝南县的水屯乡划归驻马店市驿城区管辖。
2005年，汝南县乡镇行政区划调整：撤销张岗乡，将其行政区域划归王岗镇管辖，王岗镇政府驻地不变；撤销舍屯乡，将其行政区域划归官庄乡管辖，官庄乡政府驻地不变；撤销王庄乡，将其行政区域划归常兴乡管辖，常兴乡政府驻地不变。调整后，汝南县辖7个镇、10个乡：汝宁镇、和孝镇、马乡镇、留盆镇、王岗镇、金铺镇、老君庙镇；三门闸乡、三桥乡、三里店乡、南余店乡、常兴乡、官庄乡、韩庄乡、罗店乡、张楼乡、板店乡。
2007年，根据河南省民政厅（豫民行批[2007]3号）和驻马店市民政局的批复精神，同意汝南县马乡镇更名为梁祝镇。原马乡镇行政区域，整体划归梁祝镇管辖。
2009年，经省政府批准，撤销汝宁镇、三里店乡、三门闸乡，设立汝宁、古塔、三门闸3个街道。2010年1月26日，正式撤销汝宁镇，设立汝宁街道；撤销三门闸乡，设立三门闸街道；撤销三里店乡，设立古塔街道；撤销官庄乡，设立东官庄镇。
2010年第六次人口普查，汝南县常住总人口769995人，其中：汝宁街道111475人，三门闸街道53117人，古塔街道69185人，王岗镇40883人，梁祝镇36950人，和孝镇30621人，老君庙镇42407人，留盆镇49004人，金铺镇41168人，东官庄镇42730人，三桥乡55305人，南余店乡20671人，常兴乡47510人，韩庄乡33296人，罗店乡46167人，张楼乡26116人，板店乡23390人。
2011年，常兴、罗店撤乡设镇。2012年，韩庄、三桥、张楼撤乡设镇。调整后，全县辖3个街道、12个镇、2个乡：汝宁街道、三门闸街道、古塔街道、王岗镇、梁祝镇、和孝镇、老君庙镇、留盆镇、金铺镇、东官庄镇、常兴镇、罗店镇、韩庄镇、三桥镇、张楼镇、南余店乡、板店乡。县政府驻汝宁街道。
2014年7月6日，经河南省政府批准，省民政厅（豫民行批[2014]29号）批复同意汝南县将老君庙镇的孙屯、孙沿2建制村析出，同古塔街道办事处的宋庄、十里铺、五里岗、祝湾和三门闸街道办事处的黄庙、桃园铺、陈坡、高庄、白庙9建制村（居委会）合并设立街道办事处。设立街道办事处具体事宜由驻马店市政府按照《河南省街道办事处设置有关规定》进行审批，并将批准结果报河南省民政厅备案。
2014年，老君庙镇被列为全国重点镇。