秦置任城县；因地濒济水，五代时又设济州，初治巨野；但金时巨野一带常被水淹，而任城地势高亢，遂迁之。元时则地取安宁意，始有济宁之称。建国以来，济宁的行政区划有多次较大的变动。1949年分属于鲁中南行署的尼山、台枣两个专区。1950年行署撤销后，尼山、台枣两专区合并为滕县专区。1953年滕县专区与湖西专区合并，改为济宁专区，辖十四个县市。1958年曾与菏泽合并。1959年济宁、菏泽两个专区又在原来的基础上分开。
1983年8月30日，国务院批准撤销济宁地区，济宁市升为地级市；撤销济宁县，将其辖区并入济宁市。济宁地区的兖州、曲阜、邹县、嘉祥、金乡、鱼台、微山等7个县划归济宁市；原济宁地区的汶上、泗水2县划归泰安地区。
1985年3月22日，国务院批准将原泰安地区的汶上县、泗水县划归济宁市管辖。1989年12月2日，国务院批准将菏泽地区的梁山县划归济宁市管辖。1992年3月1日，撤销兖州县，设立兖州市。1992年10月4日，撤销邹县，设立邹城市。1993年12月14日，济宁市郊区更名为济宁市任城区。
2000年第五次全国人口普查，济宁市总人口7740281人，其中：市中区400978人，任城区649544人，微山县645728人，鱼台县426172人，金乡县602555人，嘉样县761086人，汶上县702095人，泗水县552028人，粱山县675392人，曲阜市625313人，兖州市598387人，邹城市1101003人。
2002年12月31日末，全市共有18个街道、96个镇、39个乡。2003年3月19日，经济宁市政府同意，高新区柳行街道办事处黄庄村、江庄村、苏东村、苏西村、杨楼村划归洸河街道办事处管理。
济宁市辖2个市辖区、7个县，代管3个县级市，共22个街道、94个镇、39个乡。共244个居委会、6438个村委会，8345个自然村。总面积1.1万平方千米，总人口8023035人。其中：任城区的柳行街道、兖州市的王因镇、黄屯镇和市政府批准成立的洸河街道现由济宁高新区管理；曲阜市的陵城镇、小雪镇、息陬乡现由济宁市曲阜新区管理。（根据“济宁地名网”资料整理。估计为2004年统计数据）
2008年，将济宁市市中区金城街道办事处划归任城区管辖，将任城区安居镇划归市中区管辖。此次区划调整，确定市中区和任城区的区划界线是，原则上以洸河路为界，东起琵琶山路，沿洸河路西行至环城西路，沿金城街道与古槐街道边界及金城街道与济阳街道边界至太白楼西路西行至梁济运河。此线以南划归市中区，此线以北划归任城区。（1）市中区的管辖范围是，在保留古槐、阜桥、越河、济阳、观音阁、南苑6个街道的基础上，将仙营街道洸河路以南6个社区（新刘庄、刘庄、菜市、红星新村、蒋林、后铺）并入阜桥街道。将金城街道太白楼西路以南部分划归济阳街道。将任城区南张镇太白楼西路以南的后营村划归济阳街道。将任城区的安居镇整建制划归市中区。（2）任城区的管辖范围是，在保留原石桥、接庄、南张、长沟、二十里铺、李营6个镇的基础上，将金城街道太白楼西路以北部分划归任城区管辖，保留金城街道建制。将仙营街道洸河路以北5个社区（南戴庄、谢营、秦庄、仙营、东红庙）划归任城区管辖，仍保留仙营街道建制。将安居镇、喻屯镇、唐口镇整建制划归市中区，南张镇太白楼西路以南的后营村划归市中区济阳街道办事处，三贾街道办事处整建制并入接庄镇，与任城经济开发区合为一体。（3）为了保持行政区划的完整性并有利于运河沿岸的综合开发，将任城区的唐口镇、喻屯镇整建制划归市中区管理。（4）调整后，市中区总面积379平方千米，总人口52万人，辖6个街道和3个镇；任城区总面积416平方千米，户籍人口44万人，辖2个街道和6个镇，317个行政村（居委会）。由高新区管理的柳行、洸河街道及由北湖旅游度假区管理的许庄街道在行政版图上归任城区。
2011年末，全市共有41个街道、95个镇、20个乡。
2013年10月18日，《国务院关于同意山东省调整济宁市部分行政区划的批复》（国函[2013]115号）同意：一、撤销济宁市市中区、任城区，设立新的济宁市任城区，以原市中区、任城区的行政区域为新设任城区的行政区域。新设任城区人民政府驻阜桥街道太白中路4号。二、撤销兖州市，设立济宁市兖州区，以原兖州市的行政区域为兖州区的行政区域。兖州区人民政府驻龙桥街道九州中路99号。【11月20日，《山东省人民政府关于调整济宁市部分行政区划的通知》（鲁政字[2013]226号）】
根据国务院《批复》和省政府《通知》精神，济宁市调整部分行政区划：合并市中区、任城区，设立新的任城区；撤销兖州市，设立兖州区；扩大济宁高新区、太白湖新区管理范围，将任城区接庄街道划归济宁高新区管理，将任城区石桥镇划归太白湖新区管理；在西部设立济宁经济技术开发区和商贸物流园区。通过这次区划调整，济宁市区行政区域面积由884平方千米拓展到1534平方千米，人口由113.8万人增加到177.5万人。新的任城区管辖面积624平方千米、人口86.7万人，兖州区管辖面积535平方千米、人口52万人，高新区管理面积255平方千米、人口28.2万人，太白湖新区管理面积119.7平方千米、人口11万人，济宁经济技术开发区和商贸物流园区管理面积128平方千米、人口11.2万人。