平顶山以山峰平顶为名。境域古为豫州地，殷商时期，居住着应、桀部落。西周为武王宗室应侯封地，春秋战国时期，分属韩、魏、晋、郑、楚。秦统一后，分属颖川郡、三川郡和南阳郡；汉改三川郡为河南郡，北部仍属颖川郡。晋析颖川置襄城郡，平顶山属河南郡、襄城郡、南阳郡。南北朝时，先后分属鲁阳郡、襄城郡、南安郡、汝北郡、汝南郡、顺阳郡、汉广郡。北魏孝文帝太和元年（477年）置高阳县，县境有高阳山，县治在今高阳里。隋朝时，分属襄城郡和颖川郡。唐代先后分属汝州、许州、襄城郡。宋元起至明清，平顶山境域分属汝州、许州和裕州。民国初年属河洛道、汝阳道，后分属豫南道、豫东道、豫西道。
新中国成立后，平顶山地区分属洛阳专区、许昌专区。1953年国家大规模开发平顶山煤田，1954年成立平顶山煤矿筹备处，1956年1月，成立中共平顶山矿区委员会，同年3月，成立许昌专员公署平顶山办事处，下辖东高皇、大营、西高皇、井营四个乡。1957年3月，经国务院批准，设立平顶山市，属省直辖市，下辖二镇四乡，即诸葛庙镇、西高皇镇和大营乡、东高皇乡、井营乡、姚孟乡。1958年，市区设立了五个街道办事处，城市建设开始起步。1960年撤销宝丰县，将原县属行政区域划归平顶山市，次年又恢复宝丰县制，仍归许昌专署领导。
1964年3月，平顶山市改为平顶山特区，实行双重领导，以煤炭部领导为主，河南省领导为辅。1968年3月，恢复平顶山市，仍为省辖市。1969年设置新华区和卫东区。1971年建立西区。1977年舞钢区划归平顶山市，1979年舞钢区又划归许昌地区管辖。1982年，舞钢区重新划入平顶山市。1983年9月，分属许昌地区的鲁山、宝丰、叶县三县划归平顶山市管辖，1986年2月有将许昌地区的襄城县和郏县、洛阳地区的临汝县划归平顶山市。1988年6月，撤销临汝县，设立汝州市。1990年9月，撤销舞钢区，设立舞钢市。二市均为河南省计划单列市，由平顶山市代管。
1994年8月10日，民政部批复（民行批[1994]118号）同意将平顶山市郊区更名为湛河区。1997年8月，襄城县划归许昌市管辖。平顶山市面积8827平方千米，人口539万，辖新华、卫东、湛河3区和叶县、宝丰、鲁山、郏县4县，代管汝州、舞钢2个县级市。1997年12月18日，国务院批准（国函[1997]111号）设立平顶山市石龙区。至此，全市辖四县（鲁山县、宝丰县、叶县、郏县）、四区（新华区、卫东区、湛河区、石龙区），代管汝州市、舞钢市，全市共有99个乡（镇）、25个街道，299个居委会、2584个行政村。
2000年第五次人口普查，平顶山市常住总人口4804924人，其中：新华区337733人，卫东区274444人，石龙区53499人，湛河区235227人，宝丰县473287人，叶县838691人，鲁山县822541人，郏县533168人，舞钢市313089人，汝州市923245人。2000年底，全市总人口480万人，其中非农业人口114万人，农业人口366万人。人口密度609人/平方千米。
2005年，平顶山市乡镇区划调整，撤销5个乡：舞钢市撤销王店乡，并入尚店镇管辖，尚店镇人民政府驻地不变；撤销安寨乡，并入枣林乡管辖，枣林乡人民政府驻地不变。鲁山县撤销土门乡，并入背孜乡管辖，背孜乡人民政府驻地不变。宝丰县撤销观音堂乡，并入大营镇管辖，大营镇人民政府驻地不变。石龙区撤销南顾庄乡，设立相应街道。撤并后，平顶山市全市有93个乡镇、39个街道；平均每个乡镇人口为5.19万人，平均面积为84.75平方千米。
2005年末，平顶山市辖4个市辖区、4个县，代管2个县级市；全市共有37个街道、35个镇、58个乡。（与上面资料有2个街道差别）
2014年7月2日，经河南省政府批准，省民政厅（豫民行批[2014]24号）批复同意平顶市行政区划作如下调整：将平顶山市湛河区高阳路街道管辖的小营建制村划归卫东区皇台街道管辖。
2014年，宝丰县石桥镇，叶县任店镇、常村镇，鲁山县下汤镇，郏县冢头镇、安良镇、黄道镇，舞钢市尚店镇、尹集镇共9个镇被列为全国重点镇。