县因山漂浮而得名。相传临汾东南有山，尧舜时，洪水横流，其山随水高低，其形若浮，故名浮山。据《元和郡县志》，以县西浮山为名。相传“洪水时，此山随水消长”，故名。
春秋属晋，战国属魏，秦属河东郡。汉为襄陵县地。北魏于今县城西南5千米古县村置葛城县，北齐废入禽昌县。北周于葛城县故治置郭城县，隋废入襄陵县。唐武德二年（619）于今古县村置浮山县，次年见“神人”于羊角山（二峰山）下，改名神山县，属晋州。五代唐同光二年（924）徙治今县城，属建雄军。五代晋复属晋州。
宋属平阳府。金大定七年（1167）复名浮山县，兴定四年（1220）改忠孝县。元仍为浮山县，属晋宁路。明、清俱属平阳府。民国年间属河东道，道废后直属省。1949年属临汾专区。1954年属晋南专区。1958年并入临汾县。1960年复置。1967年属晋南地区。1970年属临汾地区。2000年属地级临汾市。
1996年，浮山县面积940平方千米，人口约12万人。辖2个镇、13个乡：城关镇、响水河镇、张庄乡、西佐乡、北王乡、北韩乡、乔家垣乡、柏寺乡、寨圪塔乡、东要乡、米家垣乡、史演河乡、东张乡、上东乡、槐埝乡。县政府驻城关镇。
2000年第五次人口普查，浮山县常住总人口121323人，其中，城关镇26758人，响水河镇11348人，张庄乡10388人，西佐乡9377人，东张乡13643人，槐埝乡8094人，上东乡6992人，北王乡9675人，乔家垣乡3653人，柏寺乡2338人，北韩乡3314人，东腰乡5288人，米家垣乡3295人，史演河乡1790人，寨圪塔乡5370人。
2001年，撤销东腰乡，并入城关镇，并更名为天坛镇；撤销西佐乡，并入张庄乡；撤销乔家垣乡，并入北王乡；撤销柏寺乡，并入北韩乡；撤销史演河乡，并入米家垣乡；撤销上东乡，并入响水河镇。区划调整后，全县辖辖2个镇、7个乡：天坛镇、响水河镇、张庄乡、东张乡、槐埝乡、北王乡、北韩乡、米家垣乡、寨圪塔乡。县政府驻天坛镇。（？年，将265个行政村调整为185个）
2009年末，全县常住人口130073人，其中城镇人口32622人，占25.08％。
2010年第六次人口普查，浮山县常住总人口127831人，其中，天坛镇47736人，响水河镇16498人，张庄乡17436人，东张乡13759人，槐埝乡6952人，北王乡11316人，北韩乡4894人，米家垣乡4508人，寨圪塔乡4732人。
2015年末，浮山县辖2个镇、7个乡（合计9个），2个居委会、185个村委会（合计187个）。