上街区始建于1958年，是国家根据“二五”计划建设第二个铝工业基地的需要而设立的一个工业型城区。区名沿自“上街火车站”名，而“上街火车站”名，又源于“上街村”村名。上街村属荥阳市峡窝镇地域，距今荥阳市汜水镇东5千米，位于上街区西北2千米处。1956年在上街村东南设上街火车站。1957年11月，周恩来总理依据河南铝矿资源丰富和优越的地理位置，亲自批准我国最大的铝工业基地——河南铝业公司建址在上街区火车站南边，遂沿上街火车站名，建上街区。
隋时属荥阳郡汜水县。隋大业三年（607年）属孟州汜水县，唐、五代、宋仍之。金属南京路郑州汜水县。元属河南江北中书省汴梁路郑州汜水县。明、清属河南布政使司开封府郑州汜水县。中华民国初属豫东道汜水县，民国16年（1927年）废豫东道设行政督察专员区，直至解放前归汜水县管辖，1948年秋至1954年秋属成皋县（汜水、广武合并为成皋县），1954年，成皋县、荥阳县合并后，属荥阳县第五区。
1958年8月5日，经河南省人民委员会豫民字（140）号文件批准，从荥阳县划出荥阳周村乡的郎中沟、任庄、左照沟、西郊段、聂寨、东马固和史村乡的夏侯、白马寺、左照、及白杨乡的廿里铺、大园等11个自然村成立郑州市上街区。当时全区人口为27550人，其中非农业人口19657人。土地面积11.425平方千米。同年8月20日，上街区所辖的11个自然村的10个农业合作社合并，建立上街公社。同年12月，荥阳的西马固村划归上街区，上街公社辖12个自然村。
1959年1月，荥阳市的上街村、东柏社、西柏社、武庄、肖洼、朱寨、沙固、南峡窝、北峡窝、西涧沟、石嘴、胡寨、四所楼、方顶、冯沟、观沟、何寨、魏岗、大坡顶、东郊段、南郊段等自然村，土地面积30.462平方千米划归上街区，和上街公社合并更名为马固公社。巩县的新中、小关、米河等320个自然村，土地70.954平方千米，人口82822人划归上街区，建立新中公社。
1961年6月，经郑州市人民委员会批准，将马固公社分为马固、峡窝两个公社，将新中公社分为新中、小关、米河、茶店、小里河5个公社。当时区辖7个公社。1962年1月，将荥阳县刘河公社的东沟、河东村、柴寨沟、官顶、冯庄、岗寨、徐沟、庵上、后窑、孟沟、申庄、桑树坡、泉沟、任湾、张青岗、东反坡、西反坡、龙潭、煤窑沟、李庄、徐庄、毛沟、南毛沟、申家岭、黄永岭等26个自然村，土地面积11.8平方千米划归上街区，建立上街区肖寨公社。
1962年2月，接收巩县大峪沟公社的雪庄、黑龙潭和磨岭大队的阎庄生产队，土地4.127平方千米，人口5970人，建立上街区大峪沟公社。至此，区辖9个公社。是年3月建立上街区中心路街道办事处、上街区矿山街道办事处。当时全区人口有13万，土地面积达127.84平方千米。1963年6月，将马固公社并入峡窝公社，撤销马固公社建制。将茶店公社并入新中公社，是年区辖7个公社、2个街道办事处。
1964年6月，根据国务院关于缩小城市郊区的指示精神，经河南省人民委员会批准，将大峪沟、小关、新中、米河、小里河5个公社59个大队、571个生产队、680个自然村划归巩县管辖；将肖寨公社全部及峡窝公社大部共23个大队、95个自然村划归荥阳县管辖，至此区辖范围固定下来。保留7个大队、12个自然村，成立上街区农业公社。区辖1个公社、2个街道办事处，总人口近5万，土地17.85平方千米。1971年2月中心路街道办事处分为济源路街道办事处和反修路街道办事处（后改名为新安西路街道办事处）。
1996年，上街区面积17.7平方千米，人口约12万人。辖3个街道办事处和1个乡即济源路街道办事处、新安西路街道办事处、矿山街道办事处及聂寨乡。（以上资料来源：《郑州市上街区行政区划调整规划说明书》、《上街区志》等）
2000年第五次人口普查，上街区总人口77014人，其中：济源路街道50030人、新安西路街道3469人、矿山街道2158人、聂寨乡21357人。
2001年，撤销聂寨乡，设立中心路街道、工业路街道。区划调整后，上街区辖5个街道，常住人口7.6万人。
2004年7月，将荥阳市峡窝镇整建制划归上街区管辖。按照《河南省民政厅关于调整郑州市上街区和荥阳市行政区划的批复》（豫民行批[2004]4号），荥阳市峡窝镇整建制划归上街区管辖。行政区划调整前，上街区有5个街道，辖区面积17.85平方千米，常住人口7.5万；调整后，上街区辖5个街道、1个镇：济源路街道、新安西路街道、矿山街道、中心路街道、工业路街道、峡窝镇，辖区总面积64.7平方千米，总人口10.8万。（另一说：人口由调整前的8.6万人增加到12万人。）
2005年末，上街区辖5个街道、1个镇：矿山街道、新安西路街道、济源路街道、中心路街道、工业路街道；峡窝镇。