一说是以县境内的含山（又名横山）命名。据《清一统志》：含山“在含山县西三十里，崔嵬雄峻，群山列峙，势若吞含。（唐）因以名县。”一说是县城周围环山，故名含山。汉为历阳县地。唐武德六年（623）析历阳县西部置含山县。武德八年（625年）县废。武后长安四年（704年）复置，更名武寿县。神龙元年（705年），复名含山县。明初裁革历阳、乌江、含山三县，存和州，含南一部分属无为州。洪武十三年（1380年）十一月复置含山县，属和州。
1949年1月21日含城解放，含山属江淮解放区第五专区。同年6月，改属皖北行署巢湖专区。1952年1月30日属安徽省芜湖专区。1958年12月15日与和县合并为和含县，县治设历阳镇，属马鞍山市，1959年4月属芜湖专区。1959年6月1日，含山、和县分开，恢复原建制。1965年7月28日属巢湖专区（后改为地区、地级市）。2011年，原地级巢湖市管辖的含山县划归马鞍山市管辖
1996年，含山县面积1028平方千米，人口约42万人，辖8镇6乡：环峰镇、东关镇、运漕镇、仙踪镇、清溪镇、林头镇、铜闸镇、陶厂镇、骆集乡、谢集乡、张公乡、姚庙乡、钜兴乡、东山乡。县政府驻环峰镇。1998年末，撤销骆集乡，设立河刘镇。调整后，含山县辖9个镇、5个乡。
2000年第五次人口普查，含山县常住总人口405070人，其中：环峰镇70838人，运漕镇37903人，东关镇24037人，铜闸镇29631人，陶厂镇32937人，林头镇50457人，清溪镇31618人，仙踪镇24053人，河刘镇19453人，谢集乡21917人，姚庙乡16510人，巨兴乡17481人，张公乡11798人，东山乡16437人。
2001年8月，含山县面积1045平方千米，辖9个镇、5个乡：环峰镇、运漕镇、东关镇、铜闸镇、陶厂镇、清溪镇、仙踪镇、河刘镇、林头镇；谢集乡、张公乡、东山乡、姚庙乡、巨兴乡。共有221个村委会、17个居委会。
2004年，含山县乡镇由14个调整为10个，谢集乡更名为昭关乡。2004年末，辖9个镇、1个乡：环峰镇、仙踪镇、清溪镇、林头镇、东关镇、运漕镇、铜闸镇、陶厂镇、河刘镇、昭关乡。含山县9个镇、1个乡。9个镇：环峰镇、运漕镇、东关镇、铜闸镇、陶厂镇、林头镇、清溪镇、仙踪镇、河刘镇；1个乡：昭关乡。
2005年，含山县乡镇行政区划调整（巢湖市人民政府12月7日批准巢政秘[2005]70号），将原10个乡镇调整为8个镇，具体为：一、撤销河刘镇、东关镇。二、调整仙踪镇、林头镇的行政区域。（一）林头镇：将原东关镇整建制并入。调整后林头镇辖5个居委会、20个村委会，面积151.5平方千米，人口7.66万人。镇政府驻林头（原林头镇政府驻地）。（二）仙踪镇：将原河刘镇整建制并入。调整后仙踪镇辖3个居委会、24个村委会，面积182.5平方千米，人口6.45万人。镇政府驻仙踪（原仙踪镇政府驻地）。三、撤销昭关乡，以原昭关乡的行政区域设立昭关镇，实行镇管村（居）体制。镇政府驻谢集（原昭关乡政府驻地）。四、保留运漕镇、铜闸镇、陶厂镇、环峰镇、清溪镇等5个镇。
2006年3月16日，巢湖市人民政府《关于同意居巢区与含山县部分行政区域调整的批复》（巢政秘[2006]15号）：经请示省政府同意，省民政厅已作出批复（民地字[2006]42号），现通知如下：同意将含山县清溪镇汤卞山村委会和三星村委会的赵庄、石罗堡2个村民小组，景林村委会的新村、林庄、方庄、景坳郑4个村民小组划归居巢区半汤街道办事处管辖。并将赵庄、石罗堡、新村、林庄、方庄、景坳郑6个村民小组并入汤卞山村委会。调整后的含山县清溪镇辖清溪、巨兴2个居委会和新兴、横龙、青横、苍南、皖山、白衣、佛慧、周岗、清溪、兴隆、董城、景林、半湖、三星、姚垄、土龙、太平、巨兴、丁塘、马桥、四桥、白马、巧脉23个村委会，面积144平方千米，人口4.87万。镇政府仍驻清溪。
2010年第六次人口普查，含山县常住总人口376436人，其中：环峥镇101234人，运漕镇31873人，铜闸镇25880人，陶厂镇32387人，林头镇66951人，清溪镇42279人，仙踪镇55568人，昭关镇20264人。