辉县市远古时期为共工氏部族居地。夏属冀州之域，殷商系畿内地，周称凡国、共国。春秋属卫，战国归魏，秦属三川郡。西汉，县境东部置共县，西部属山阳县。隋开皇六年（596年），省山阳县，改置共城县。唐武德元年（618年），置共州，辖共城、凡城二县；武德四年废州，并凡城县入共城县。金大定二十九年（1189年），避显宗允恭（共之谐音）之讳，改称为河平县；明昌三年（1192年）又改称苏门县；贞祐三年（1215年）升苏门县为辉州；“辉”得名于苏门山下百泉湖畔的威惠王祠之清辉殿（取谢灵运“山水含清辉”诗名命名）。
明洪武元年（1368年）废州立县，改辉州为辉县，属河南省布政使司卫辉府。1938年2月日军入侵辉县，1943年至1944年，中共太行区委根据抗战形势，将原辉县相继划为辉县（后改辉北县）、辉嘉、新乡（后改辉县）三县。1945年8月抗战胜利，1946年6月三县合并为辉县。建国后，辉县属平原省新乡专区。1952年11月平原省撤销，改属河南省新乡专区。1986年新乡专区撤销，改属新乡市。1988年10月，撤销辉县，设立辉县市，为河南省辖县级市，由新乡市代管。
1996年，辉县市面积2007平方千米，人口75.9万人。辖11个镇、15个乡：城关镇、峪河镇、南村镇、吴村镇、孟庄镇、薄壁镇、百泉镇、常村镇、南寨镇、上八里镇、北云门镇、沙窑乡、洪洲乡、拍石头乡、高庄乡、西平罗乡、黄水乡、褚邱乡、三郊口乡、赵固乡、赞城乡、胡桥乡、张村乡、冀屯乡、后庄乡、王敬屯乡。市政府驻城关镇。
2000年，辉县市辖12个镇、14个乡。第五次人口普查，辉县市总人口776326人，其中：城关镇72896人、薄壁镇38449人、峪河镇46788人、百泉镇77910人、孟庄镇58598人、常村镇41558人、吴村镇41769人、南村镇27062人、南寨镇16976人、上八里镇17991人、北云门镇46845人、赞城镇36465人、黄水乡11177人、拍石头乡11342人、高庄乡41180人、张村乡16277人、褚邱乡19224人、冀屯乡26507人、三郊口乡4416人、洪洲乡9166人、后庄乡6384人、赵固乡40628人、西平罗乡19485人、胡桥乡29328人、沙窑乡5110人、王敬屯乡12795人。
2004年，全市总人口786435人，其中农业人口220974人，非农业人口565461人。
2005年，辉县市乡镇区划调整：撤销三郊口乡，将其行政区域划归南寨镇管辖，南寨镇人民政府驻地不变；撤销后庄乡，将其行政区域划归沙窑乡管辖，沙窑乡人民政府驻地不变；撤销王敬屯乡，将其行政区域划归吴村镇管辖，吴村镇人民政府驻地不变；撤销褚邱乡，将其行政区域划归冀屯乡管辖，冀屯乡人民政府驻地不变；撤销城关镇，设立城关街道；撤销胡桥乡，设立胡桥街道。调整后，辉县市辖2个街道、11个镇、9个乡：城关街道、胡桥街道、峪河镇、百泉镇、薄壁镇、孟庄镇、南寨镇、上八里镇、常村镇、吴村镇、赞城镇、北云门镇、南村镇、黄水乡、高庄乡、张村乡、洪洲乡、西平罗乡、拍石头乡、赵固乡、沙窑乡、冀屯乡。（22个居委会、533个行政村）
2010年，撤销冀屯乡，设立冀屯镇。调整后，全市辖2个街道、12个镇、8个乡：城关街道、胡桥街道、薄壁镇、峪河镇、百泉镇、孟庄镇、常村镇、吴村镇、南村镇、南寨镇、上八里镇、北云门镇、占城镇、冀屯镇、黄水乡、高庄乡、张村乡、洪洲乡、西平罗乡、拍石头乡、 赵固乡、沙窑乡。