焉支山，一名删丹山，亦曰删丹岭，汉因置删丹县。后删丹讹为山丹，有山丹河，出县南祁连山麓，即《禹贡》中的弱水。北魏改为山丹县。隋复改为删丹县。元置山丹州。明初改称山丹卫。清雍正二年（1724）改为山丹县。
1996年，山丹县面积5402平方千米，人口19.7万人。辖1个镇、10个乡：城关镇、清泉乡、东乐乡、红寺湖乡、位奇乡、陈户乡、老军乡、李桥乡、花寨子乡、霍城乡、大马营乡。县政府驻城关镇。
2000年第五次人口普查，山丹县常住总人口191158人，其中（4个镇、7个乡）：城关镇26095人，清泉镇30949人，位奇镇23744人，霍城镇19829人，东乐乡13820人，红寺湖乡899人，陈户乡21797人，老军乡7543人，李桥乡9397人，花寨子乡8777人，大马营乡10634人，马场17674人。
？年，城关镇、清泉镇、红寺湖乡合并为清泉镇，花寨子乡并入大马营乡。调整后，全县辖3个镇、5个乡：清泉镇、位奇镇、霍城镇、东乐乡、陈户乡、老军乡、李桥乡、大马营乡。县政府驻清泉镇。
2008年末，山丹县面积5402平方千米，辖8个乡镇，115个行政村，746个村民小组。农业人口3.82万户15.28万人。
2010年第六次人口普查，山丹县常住总人口161299人，其中，清泉镇69902人，位奇镇17403人，霍城镇11861人，东乐乡11027人，大马营乡11551人，陈户乡17181人，老军乡4473人，李桥乡5671人，国营山丹农场1027人，中牧公司山丹马场11203人。
2010年第六次人口普查，山丹县常住总人口161299人，其中，清泉镇69902人，位奇镇17403人，霍城镇11861人，东乐乡11027人，大马营乡11551人，陈户乡17181人，老军乡4473人，李桥乡5671人，国营山丹农场1027人，中牧公司山丹马场11203人。
2014年，撤销东乐乡、陈户乡、大马营乡，设立东乐镇、陈户镇、大马营镇。调整后，全县辖6个镇、2个乡：清泉镇、位奇镇、霍城镇、东乐镇、陈户镇、大马营镇、老军乡、李桥乡。同年，清泉镇、位奇镇被列为全国重点镇。