夏商时代为有缗国，周设缗邑。西汉属山阳郡，东汉设金乡，隋朝置金乡县。因境内有金山而得名。据《晋地道记》：“县多山，治所名金山。山北有凿石为彖，深十余丈，隧长三十丈，傍却人为堂三方，云得白兔不葬。更葬南山，凿而得金，故名金山。”1949年属平原省，1952年属山东省。
1995年1月13日，设立金马乡，将鸡黍镇的马集、王门楼、胡庄、辛庄、东李、张庄、单楼、西李、杨庄、大刘、焦行、分庙、刘楼、吕庙、郭庄、杜河、宋营、郑楼、菜园、太山庙、李杭、徐庙等22个村划归金马乡管辖，乡政府驻马集；设立大义乡，将胡集镇的大义北、大义南、南周、南孙楼、莫桥、前代、万柳、邱井、方庙、南郭、后代、安楼、前安、北周、邱楼、草庙、西王庄、李楼、莫楼等19个村和羊山镇的刘庄、桃元、安五王、河东王、后于、宋屯、周大楼、东张、东李、薛海、关帝等11个村划归大义乡管辖，乡政府驻大义。
1996年，金乡县面积881平方千米，人口59万人。辖6个镇、10个乡：金乡镇、羊山镇、肖云镇、胡集镇、缗城镇、鸡黍镇、卜集乡、大义乡、马庙乡、王丕乡、化雨乡、司马乡、兴隆乡、鱼山乡、金马乡、高河乡。县政府驻金乡镇。
1999年12月22日，撤销马庙乡，设立马庙镇（鲁政函民字[1999]39号）。2000年5月11日，撤销司马乡，设立司马镇，其行政区域和政府驻地不变（鲁政函民字[2000]34号）。至此，金乡县辖10个镇、6个乡。
2000年第五次人口普查，总人口602555人，其中：金乡镇70916人，缗城镇44112人，王丕镇21416人，霄云镇44271人，胡集镇36293人，羊山镇48109人，马庙镇50823人，鱼山镇23558人，鸡黍镇36722人，司马镇30409人，卜集乡40988人，高河乡32704人，化雨乡42437人，兴隆乡36964人，金马乡22061人，大义乡20772人。
2000年12月1日，山东省政府（鲁政函民字[2000]69号）批准：撤销大义乡，将其行政区域并入胡集镇；撤销缗城镇，将其行政区域并入金乡镇，金乡镇政府驻地迁至原缗城镇政府驻地；撤销金马乡，将其行政区域并入鸡黍镇。调整后，金乡县辖9个镇、4个乡。
金乡县辖9个镇、4个乡：金乡镇、胡集镇、霄云镇、羊山镇、鸡黍镇、鱼山镇、王丕镇、马庙镇、司马镇、兴隆乡、高河乡、卜集乡、化雨乡。共8个居委会、651个村委会，1247个自然村。总面积885平方千米，总人口608853人。（根据“济宁地名网”，估计为2004年统计数据）
2007年底，金乡县总面积886.46平方千米。总人口62.14万人，其中城镇人口9.38万人。有少数民族28个，2954人。辖9个镇、4个乡：金乡镇、羊山镇、胡集镇、肖云镇、鸡黍镇、王丕镇、司马镇、鱼山镇、马庙镇、化雨乡、卜集乡、高河乡、兴隆乡，659个行政村（居委会）。
2008年，经省政府批准，将金乡镇18个村划归鱼山镇。2010年，撤销金乡镇，设立金乡街道；撤销高河乡、化雨乡，设立高河镇、化雨镇。调整后，辖1个街道、10个镇、2个乡：金乡街道、羊山镇、胡集镇、肖（霄）云镇、鸡黍镇、王丕镇、司马镇、鱼山镇、马庙镇、化雨镇、高河镇、卜集乡、兴隆乡。县政府驻金乡街道。