据《水经注》：“武溪水出县西北桐柏山，东南流，右合溱水，乱流东南，经县西，县侧临溪东，因曰临武。”战国时为楚临武邑。楚考烈王封临武君于此，因以名邑。汉高祖五年（前201）建县，治设姥婆城。隋末迁今址，属桂阳郡，唐如意元年（692）更名隆武县，属郴州。唐神龙元年（705）复名临武县。五代晋天福四年（939）并入桂阳监。
南宋绍兴十一年（1141）复置临武县，移治今城关镇，属桂阳军。元属桂阳路。明属衡州府桂阳州。清属桂阳直隶州。1914～1922年属衡阳道。1949年属郴县专区，1951年属郴州专区，1952年属湘南行政区，1954年属郴县专区。1959年并入宜章县，1961年复置临武县，属郴州专区。1968年属郴州地区，1994年属郴州市。
1996年，临武县面积1393平方千米，人口约30.3万人。辖3个镇、19个乡：城关镇、金江镇、香花岭镇、楚江乡、大冲乡、汾市乡、广宜乡、花塘乡、接龙乡、麦市乡、南强乡、三合乡、双溪乡、水东乡、同益乡、土地乡、土桥乡、万水乡、武水乡、武源乡、西瑶乡、镇南乡。县政府驻城关镇东云路。
2000年第五次人口普查，临武县常住总人口303290人，其中，城关镇34426人，金江镇17122人，香花岭镇7731人，岚桥镇10614人，武水镇22991人，双溪乡15757人，南强乡15550人，广宜乡7529人，同益乡10586人，汾市乡14081人，土地乡12279人，水东乡9230人，接龙乡6031人，花塘乡17852人，楚江乡17553人，武源乡8723人，万水乡18458人，麦市乡24092人，三合乡13196人，镇南乡10768人，大冲乡6452人，西山瑶族乡2269人。
2004年，全县辖5个镇、17个乡（其中1个民族乡）：城关镇、金江镇、香花岭镇、岚桥镇、武水镇、双溪乡、南强乡、广宜乡、同益乡、汾市乡、土地乡、水东乡、接龙乡、花塘乡、楚江乡、武源乡、万水乡、麦市乡、三合乡、镇南乡、大冲乡、西山瑶族乡。县政府驻城关镇。
2010年第六次人口普查，临武县常住总人口338445人，其中，城关镇61424人，金江镇21761人，香花岭镇7655人，岚桥镇11730人，武水镇26907人，双溪乡17420人，南强乡13822人，广宜乡5811人，同益乡10391人，汾市乡14139人，土地乡11760人，水东乡10519人，接龙乡6821人，花塘乡14916人，楚江乡17137人，武源乡7878人，万水乡18563人，麦市乡27755人，三合乡12921人，镇南乡10712人，大冲乡5834人，西山瑶族乡1402人，临武县工业园1144人，三十六湾矿区2人，金江煤区21人。
2012年，省民政厅（湘民行发[2012]13号）批复同意：一、将南强乡、岚桥镇、广宜乡成建制合并，设立南强镇。二、将香花岭镇、三合乡成建制合并，设立香花镇。三、将水东乡、接龙乡成建制合并，设立水东镇。四、将城关镇更名为舜峰镇。同年，汾市乡、楚江乡、麦市乡撤乡设镇。调整后，全县辖9个镇、9个乡（其中1个民族乡）：舜峰镇、金江镇、武水镇、南强镇、汾市镇、水东镇、楚江镇、麦市镇、香花镇、双溪乡、同益乡、土地乡、花塘乡、武源乡、万水乡、镇南乡、大冲乡、西山瑶族乡。县政府驻舜峰镇。
2015年11月27日，省民政厅（湘民行发[2015]99号）批复同意：双溪乡、舜峰镇成建制合并设立舜峰镇。同益乡、武水镇成建制合并设立武水镇。大冲乡、水东镇成建制合并设立水东镇。土地乡、汾市镇成建制合并设立汾市镇。武源乡、西山瑶族乡成建制合并设立西山瑶族乡。调整后，全县辖9个镇、4个乡（其中1个民族乡）：舜峰镇、金江镇、武水镇、南强镇、汾市镇、水东镇、楚江镇、麦市镇、香花镇、花塘乡、万水乡、镇南乡、西山瑶族乡。总面积1383.06平方千米，总人口39.46万人。