周初属郜国，秦置成武县。东汉属兖州济阳郡。明改城武县。据《城武县志》：“汉高祖过鲁，祀孔子。以武功告成，改楚邱为成武。”又云；“明初尚宝铸印，误加土为城。”1958年又复改成武县。
1941年建立成武县抗日民主政府。1949年后，成武县属平原省湖西专区，1952年平原省撤销，随湖西专区改属山东省，1953年湖西专区撤销，改属菏泽专区。1958年10月成武、定陶合并，1962年初定陶县分出。
1988年5月4日，撤销徐庄乡，将其行政区域并入汶上集镇。1994年12月29日，撤销伯乐集乡、苟村集乡，设立伯乐集镇、苟村集镇（鲁政函民字[1996]67号）。1995年10月23日，撤销南鲁集乡，设立南鲁集镇。1996年，成武县面积988.1平方千米，人口58.3万人。辖5镇13乡。县政府驻成武镇。1998年12月23日，撤销白浮图乡、孙寺乡，分别设立白浮图镇、孙寺镇（鲁政函民字[1998]38号）。
2000年第五次人口普查，全县常住总人口596339人，其中（9个镇、9个乡）：成武镇80481人，天宫庙镇25889人，孙寺镇33024人，苟村集镇40178人，白浮图镇22830人，大田集镇43734人，南鲁集镇40107人，汶上集镇41546人，伯乐集镇44695人，宝峰集乡18901人，党集乡32455人，桃花寺乡21456人，张楼乡30459人，孙庙乡17226人，郜鼎集乡31524人，康集乡14576人，智楼乡23610人，九女集乡33648人。
2001年，成武县辖9个镇、3个乡：成武镇、大田集镇、伯乐集镇、天官镇、汶上集镇、孙寺镇、白浮图镇、苟村集镇、南鲁集镇、党集乡、张楼乡、九女集乡。
2002年2月22日，省政府批复同意撤销九女集乡，设立九女集镇，其行政区域和人民政府驻地不变。调整后，成武县辖10个镇、2个乡：成武镇、大田集镇、天官镇、汶上集镇、南鲁集镇、伯乐集镇、苟村集镇、白浮图镇、孙寺镇、九女集镇、党集乡、张楼乡。县政府驻成武镇。
2010年，撤销成武镇，设立文亭街道、永昌街道；撤销党集乡、张楼乡，设立党集镇、张楼镇。至此，全县辖2个街道、11个镇：文亭街道、永昌街道、大田集镇、天官镇、汶上集镇、南鲁集镇、伯乐集镇、苟村集镇、白浮图镇、孙寺镇、九女集镇、党集镇、张楼镇。县政府驻文亭街道。
2010年第六次人口普查，成武县常住总人口612016人，其中：文亭街道45436人，永昌街道58572人，大田集镇71943人，天宫庙镇38350人，汶上集镇61592人，南鲁集镇41068人，伯乐集镇49517人，苟村集镇35188人，白浮图镇42111人，孙寺镇48803人，九女集镇56041人，党集镇32557人，张楼镇30838人。