汉置吴房县，北魏设遂宁县，隋初改灈阳县，后改吴房县，唐改为遂平县。据传李愬取蔡州，是从吴房的文城栅出发的，蔡州平定后，为了纪念这次袭击战的辉煌战果，取从此出兵，遂平蔡州之义。
1996年?，遂平县面积1223平方千米，人口59.1万人。辖2个镇、15个乡：灈阳镇、车站镇、褚堂乡、沈寨乡、常庄乡、槐树乡、花庄乡、关王庙乡、石寨铺乡、文城乡、张台乡、诸市乡、玉山乡、张店乡、阳丰乡、和兴乡、嵖岈山乡。县政府驻灈阳镇。
？年，撤销玉山乡，设立玉山镇。调整后，遂平县辖3个镇、14个乡。
2000年第五次人口普查，遂平县总人口547541人，其中：濯阳镇46000人、车站镇40586人、玉山镇27759人、常庄乡47926人、张店乡19662人、和兴乡42785人、沈寨乡48981人、槐树乡30719人、查蚜山乡24263人、阳丰乡34318人、花庄乡20773人、张台乡11915人、文城乡27646人、诸市乡29997人、褚堂乡20618人、关王庙乡32854人、石寨铺乡37351人、嵖岈山风景区3388人。
2001年12月25日，经国务院批准（国函[2001]172号）将遂平县的关王庙乡、诸市乡划归驻马店市驿城区管辖。
2005年，遂平县乡镇行政区划调整：撤销张台乡，将其行政区域划归花庄乡管辖，花庄乡政府驻地不变；撤销张店乡，将其行政区域划归和兴乡管辖，和兴乡政府驻地不变。调整后，遂平县辖3个镇、10个乡：灈阳镇、车站镇、玉山镇、阳丰乡、花庄乡、槐树乡、沈寨乡、和兴乡、文城乡、褚堂乡、石寨铺乡、嵖岈山乡、常庄乡。
2008年，石寨铺、嵖岈山撤乡设镇。2009年，撤销灈阳镇和车站镇，设立灈阳、莲花湖、车站3个街道；其中灈阳镇一分为二，107国道东侧属灈阳街道（驻原灈阳镇政府驻地），西侧属莲花湖街道。 2011年，和兴撤乡设镇。2012年，沈寨、阳丰撤乡设镇。
全县现辖3个街道、6个镇、5个乡：灈阳街道、车站街道、莲花湖街道、玉山镇、嵖岈山镇、石寨铺镇、和兴镇、沈寨镇、阳丰镇、常庄乡、槐树乡、花庄乡、文城乡、褚堂乡。县政府驻灈阳街道。