夏商周时，兖州为古九州之一，因兖水而得名。据《周礼》：“河东曰兖州。”春秋元命苞云：“五星流为兖州。兖，端也，信也。”又云，“盖取兖水以名焉。”汉武帝置十三州，以旧名为兖州，自此不改。
春秋属鲁国称负瑕，隋改称鲁郡，唐又复称兖州，宋称袭庆府，金改嵫阳县，明、清皆为兖州府治。1962年始称兖州县。1992年3月1日，撤销兖州县，设立兖州市（县级），其行政区域和政府驻地不变。同年9月兖州市正式挂牌成立。
2013年10月18日，《国务院关于同意山东省调整济宁市部分行政区划的批复》（国函[2013]115号）同意撤销兖州市，设立济宁市兖州区，以原兖州市的行政区域为兖州区的行政区域。兖州区人民政府驻龙桥街道九州中路99号。
1992年4月25日，撤销堡子乡，设立兴隆庄镇。1994年9月7日，撤销城郊乡，设立新兖镇。1995年12月18日，撤销黄屯乡、谷村乡，设立黄屯镇、谷村镇。至此，兖州市面积641.6平方千米，人口约58.5万人。辖9个镇、4个乡：兖州镇、新兖镇、谷村镇、大安镇、新驿镇、颜店镇、黄屯镇、王因镇、兴隆庄镇、漕河乡、小孟乡、前海乡、泗庄乡。市政府驻兖州镇。
1996年8月12日，撤销泗庄乡，设立泗庄镇，其行政区域不变，政府驻地由泗庄迁至薛庙西兖颜公路3.5千米处，行政区域边界以济政呈[1996]47号文所附1：5万地形图上标绘的界线为准（鲁政函民字[1996]39号）。1999年12月6日，撤销漕河乡，设立漕河镇（鲁政函民字[1999]34号）。至此，兖州市辖11个镇、2个乡。
2000年第五次人口普查，兖州市总人口598387人，其中：兖州镇86593人，新兖镇77065人，谷村镇36163人，大安镇47339人，新驿镇47920人，颜店镇35741人，泗庄镇29810人，黄屯镇26636人，王因镇56818人，兴隆庄镇58218人，漕河镇30176人，前海乡29488人，小盂乡36420人。
2000年12月1日，山东省政府（鲁政函民字[2000]66号）批准：撤销兖州镇，设立鼓楼、永安两个街道办事处。鼓楼街道办事处辖鼓楼、少陵、惠民、韦园、南顺城、奎星楼、苗圃、校场、榕花园、神路、岗子街、东关、查官园、邓家窑、军民、兴隆、文东、大观门、塔前19个居委会，办事处机关驻文化东路4号；永安街道办事处辖息马地、钟楼、民族、莲花、白衣堂、中御桥、南环、新兴、红西、长安、文西11个居委会，办事处机关驻中山西路239号。撤销泗庄镇，将其行政区域并入新兖镇；撤销前海乡，将其行政区域并入颜店镇。兖州市辖2个街道、9个镇、1个乡：鼓楼街道、永安街道、新兖镇、谷村镇、大安镇、新驿镇、颜店镇、黄屯镇、王因镇、兴隆庄镇、小孟镇、漕河乡。
2002年7月，省政府批复同意：撤销小孟乡，设立小孟镇，其行政区域和政府驻地不变。2002年底，兖州市辖2个街道、10个镇：鼓楼街道、永安街道、新兖镇、谷村镇、大安镇、新驿镇、颜店镇、黄屯镇、王因镇、兴隆庄镇、漕河镇、小孟镇。
兖州市辖2个街道、10个镇，30个居委会、492个村委会，530个自然村。总面积653.4平方千米，总人口604976人。其中王因镇、黄屯镇由济宁高新区管理。（根据“济宁地名网”，估计为2004年统计数据）
2005年8月17日，经山东省政府同意，将黄屯镇东稻营、西稻营、杨厂、东张庄、老府庄、金家村等6个村划归新兖镇管辖。
2007年底，全市总面积648.2平方千米。总人口61.35万人，其中城镇人口27.61万人，人口城镇化率45％。辖2个街道、10个镇：鼓楼街道、永安街道、大安镇、新驿镇、颜店镇、王因镇、新兖镇、谷村镇、漕河镇、黄屯镇、兴隆庄镇、小孟镇。共有522个行政村（居委会）。
2008年5月，根据山东省政府《关于同意调整兖州市部分行政区划的批复》（鲁政函民字[2008]13号）、济宁市政府《关于调整兖州市行政区划的通知》（济政字[2008]88号）、济宁市新型乡镇建设试点工作领导小组《关于公布新型乡镇建设试点单位及政区划调整方案》（济新镇发[2008]1号文件精神），兖州市进行以下行政区划调整：（1）撤销谷村镇，将新兖镇楚家洼村、高家庙、宋家村、董家村、朝阳村等5个村和谷村镇整建制并入大安镇；调整后的大安镇与兖州经济开发区实行镇区合一的管理体制，辖85个村，7.39万人，总面积116.8平方千米。（2）撤销永安街道，将新兖镇永丰村、南关村、刘家岗村、红花村、北关村等5个村和永安街道整建制并入鼓楼街道；调整后的鼓楼街道辖29个村居，人口12.1万人，总面积17.21平方千米。（3）设立龙桥街道。将新兖镇龙桥村、西关村、旧关村、六里井、牛王村、李庙村、韩家楼、东韩村、五里庄、范家庄、范家堂、薛家庙、刘官庄、任老庄、李家湾等15个村划归龙桥街道管辖。龙桥街道辖15个村委会。总面积15.51平方千米，人口3.2万人，办事处机关驻原永安街道办事处机关驻地。（4）设立酒仙桥街道。将新兖镇古城村、陈家村、傅家楼、琉璃厂、豆腐店、天仙庙、三河村、诸天寺、东关村等9个村和鼓楼街道的查官园、岗子街、东关、神路、军民、邓家窑等6个居委会划归酒仙桥街道办事处管辖；按照“管辖分离”的方式，将泗河东岸曲阜市时庄镇的田家村、河头村、焦家村三个行政村和陵城镇的粉店、牛厂两个自然村，划归酒仙桥街道管理。酒仙桥街道（不含管辖分离）辖6个社区、9个行政村，总面积11.65平方千米，人口3.9万人，办事处机关驻久益医院内。（5）调整后的新兖镇与兖州新兖工业园实行镇区合一的管理体制，辖51个行政村（共划出34个村），总面积60.3平方千米，人口4.06万人，镇机关驻地迁至官庄村。调整后，全市辖3个街道、9个镇：鼓楼街道、龙桥街道、酒仙桥街道、大安镇、新驿镇、颜店镇、王因镇、新兖镇、漕河镇、黄屯镇、兴隆庄镇、小孟镇。其中王因镇、黄屯镇由济宁高新区管理。
2010年，撤销王因镇、黄屯镇，设立王因街道、黄屯街道。调整后，全市辖5个街道、7个镇：鼓楼街道、龙桥街道、酒仙桥街道、王因街道、黄屯街道、大安镇、新驿镇、颜店镇、新兖镇、漕河镇、兴隆庄镇、小孟镇。其中王因街道、黄屯街道由济宁高新区管理。市政府驻龙桥街道。
2013年1月，《山东省人民政府关于同意调整兖州市部分行政区划的批复》（鲁政函民字[2013]2号）同意将大安镇牛家屯、武家村、张家坡、穆家庙、夏家庙、辛北庄、前道义、后道义、牟家屯、大南铺、夏家村、张陈、大徐村、坊里村、大胡街、宋家庙、西韩村、五炉村、曹家洼、周家楼、官路口、刘家村、小徐村、阎家村、张家村、尹家村、前吴村、王家村、宋家村、董家村、曹阳村、高庙、楚家洼等33个行政村和山拖社区划归新兖镇。