东周为王畿之地。秦置梁县，属三川郡。隋设汝州，明成化六年升为直隶州。1913年改为临汝县。因濒临汝河，故名。1988年6月25日，国务院批准撤销临汝县，设立汝州市。
1996年，汝州市面积1602平方千米，人口约89万人，市政府驻汝州镇。辖5个镇、11个乡：汝州镇、临汝镇、温泉镇、寄料镇、小屯镇、庙下乡、杨楼乡、尚庄乡、蟒川乡、王寨乡、纸坊乡、焦村乡、夏店乡、陵头乡、骑岭乡、大峪乡。
2000年第五次人口普查，汝州市总人口923245人，其中：汝州镇101455人、寄料镇65737人、温泉镇24722人、临汝镇80445人、小屯镇92168人、杨楼乡76783人、蟒川乡56837人、王寨乡39078人、陵头乡44559人、庙下乡60904人、纸坊乡72695人、尚庄乡58569人、骑岭乡75022人、大峪乡23098人、夏店乡27614人、 焦村乡 23559人。
2002年，撤销汝州镇建制，设立钟楼、风穴、煤山、洗耳河、汝南5个街道办事处，分管19个居委会，代管14个村委会。8月8日，5个街道办事处正式挂牌。
2005年8月19日，汝州市人民政府办公室《关于调整汝州市城区王寨乡小屯镇蟒川乡杨楼乡温泉镇临汝镇行政区划的通知》（汝政办[2005]101号）：河南省民政厅《关于调整汝州市部分乡镇行政区划的批复》（豫民行批[2005]2号）已经省政府批准，2005年6月30日汝州市人大常委会第13次会议已讨论通过，同意调整我市城区、王寨乡、小屯镇、蟒川乡、杨楼乡、温泉镇、临汝镇行政区划。现将有关事宜通知如下：
一、调整范围
（一）将王寨乡的王寨、上陈、袁庄、怯庄、南孙庄、魏洼、栗庄7个村委会和小屯镇的西焦村、南马庄、虎头、后铺、吉庄、张吾庄、宗庄（陈湾）7个村委会，共14个村委会，整建制划归汝州市城区，由汝南街道办事处代管。
（二）将蟒川乡的十字路、茶庵、董沟、寺湾4个村委会和杨楼乡的朱洼、王古城、东王堂、杨古城、樊古城、冶墙、牛庄、辛庄、东王堂、口子孙、裴爬、郑铁、訾庄、刘凹、尹冲15个村委会，共19个村委会，整建制划归王寨乡管辖。
（三）将临汝镇的东程庄、冯店、大洼、榆树园、邓禹、西唐沟、东唐沟、高水泉、连庄、连圪档、东车坊、南工寨、侧崆庄、赵庄15个村委会，整建制划归温泉镇管辖。
二、新设村委会 根据工作需要，经市政府研究批准新设两个村委会，分别是：
将原小屯镇宗庄村委会的陈湾自然村分设，成立陈湾村委会，归汝州市城区，由汝南街道办事处代管。
将原杨楼乡口子孙村委会的谷店自然村分设，成立谷店村委会，划归王寨乡管辖。
2005年末，汝州市辖5个街道、4个镇、11个乡：煤山街道、钟楼街道、风穴路街道、汝南街道、洗耳河街道；临汝镇镇、寄料镇、温泉镇、小屯镇；骑岭乡、杨楼乡、庙下乡、大峪乡、尚庄乡、王寨乡、纸坊乡、焦村乡、蟒川乡、陵头乡、夏店乡。
2009年，撤销杨楼乡、蟒川乡，设立杨楼镇、蟒川镇。2011年，撤销庙下乡、尚庄乡、陵头乡，设立庙下镇、米庙镇、陵头镇。2013年，省民政厅批复：经省政府批准，同意汝州市撤销纸坊乡、大峪乡，设立纸坊镇、大峪镇，实行镇管村体制，原辖行政区域和政府驻地不变。
全市现辖5个街道、11个镇、4个乡：煤山街道、风穴路街道、钟楼街道、洗耳河街道、汝南街道、寄料镇、温泉镇、临汝镇、小屯镇、杨楼镇、蟒川镇、庙下镇、米庙镇、陵头镇、纸坊镇、大峪镇、王寨乡、骑岭乡、夏店乡、焦村乡。市政府驻煤山街道。