殷商为厥国，春秋为鲁中都。唐天宝元年改为中都县，金贞元元年（1153年）改为汶阳县，泰和八年（1208年）改汶阳县为汶上县。因汶水在上（北）而得名。据《汉书》注，应劭曰：诗云：“汶水汤之。”大汶河流贯，故县名汶上。
1996年，汶上县面积891平方千米，人口71.5万人。辖3镇12乡：汶上镇、南旺镇、南站镇、康驿乡、刘楼乡、辛店乡、义桥乡、苑庄乡、郭楼乡、郭仓乡、杨店乡、白石乡、军屯乡、寅寺乡、次丘乡。县政府驻汶上镇。
1996年8月13日，撤销苑庄乡，设立苑庄镇（鲁政函民字[1996]42号）。1996年8月18日，撤销寅寺乡、郭楼乡，设立寅寺镇、郭楼镇（鲁政函民字[1996]43号）。1997年6月10日，撤销次邱乡，设立次邱镇（鲁政函民字[1997]27号）。1999年8月26日，撤销康驿乡，设立康驿镇（鲁政函民字[1999]23号）。至此，汶上县辖8个镇、7个乡。
2000年第五次人口普查，汶上县总人口702095人，其中：汶上镇79081人，南站镇46641人，康驿镇66563人，南旺镇53642人，次丘镇72604人，寅寺镇42658人，郭楼镇43508人，苑庄镇53429人，辛店乡33612人，刘楼乡34438人，郭仓乡36749人，杨店乡32808人，军屯乡25110人，白石乡36612人，义桥乡44640人。
2000年12月1日，山东省政府（鲁政函民字[2000]71号）批准：撤销辛店乡，将其行政区域并入汶上镇。至此，汶上县辖8个镇、6个乡：汶上镇、康驿镇、苑庄镇、次丘镇、寅寺镇、郭楼镇、南站镇、南旺镇、郭仓乡、杨店乡、军屯乡、白石乡、刘楼乡、义桥乡。
汶上县辖8个镇、6个乡：汶上镇、苑庄镇、寅寺镇、郭楼镇、南站镇、南旺镇、次邱镇、康驿镇、郭仓乡、刘楼乡、义桥乡、白石乡、军屯乡、杨店乡。共13个居委会、546个行政村，775个自然村。总面积877平方千米，总人口734766人。（根据“济宁地名网”，估计为2004年统计数据）
2007年末，全县总面积877.2平方千米。总人口75.8万人，其中城镇人口9.9万人，人口城镇化率28.8％。有少数民族17个，2060人。辖8个镇、6个乡：汶上镇、南站镇、南旺镇、次丘镇、寅寺镇、郭楼镇、康驿镇、苑庄镇、义桥乡、刘楼乡、郭仓乡、杨店乡、军屯乡、白石乡，共有493个行政村（居委会）。
2008年，经省人民政府批准，撤销汶上镇，设立中都街道、汶上街道。2008年末，全县总面积877平方千米，总人口75.9万人， 其中城镇人口10万人。辖2个街道、7个镇、6个乡：中都街道、汶上街道、南站镇、南旺镇、次丘镇、寅寺镇、郭楼镇、康驿镇、苑庄镇、义桥乡、刘楼乡、郭仓乡、杨店乡、军屯乡、白石乡，共有493个行政村（居委会）。
2010年7月，撤销白石乡、郭仓乡、义桥乡，设立白石镇、郭仓镇、义桥镇。2011年，撤销杨店乡，设立杨店镇。调整后，全县辖2个街道、11个镇、2个乡：中都街道、汶上街道、南站镇、南旺镇、次丘镇、寅寺镇、郭楼镇、康驿镇、苑庄镇、义桥镇、郭仓镇、白石镇、杨店镇、刘楼乡、军屯乡。
另：2010年，拟将493个村（居）调整为97个社区。截至8月，已建成、在建、待建有38个社区，其中欣欣花园、滨湖社区、联想花园、康达社区、王楼社区、泗汶社区、寨子社区、新苑社区等20处名称规范，步仙花园、汶河之春、泉河之夏、靓景名居、育嘉社区等18处尚需依据《地名管理条例》规范其名称。