秦置善元县，属雁门郡治。西汉别置中陵县，亦属雁门郡。新莽改善元为阴馆，改中陵为遮害，东汉复旧。后雁门郡治南迁，建武二十七年（51）定襄郡徙治善元县，县属之，中陵县亦属定襄郡。建安末年2县俱废。北魏复置，初隶畿内。东魏天平二年（535）于县置善元郡，县属之。北齐郡、县俱废，置威远县，北周废。唐天宝年间置静边军于右玉城。
辽、金皆为云中县地，元为大同县地。明永乐七年（1409）大同右卫自今大同城徙治右玉城镇。正统十四年（1449）玉林卫自今大同城迁此，与大同右卫同治，改称右玉林卫，属山西行都指挥使司大同府。清初名右玉卫，雍正三年（公元1725年）升卫为县，于县置朔平府，县属之。民国元年（公元1912年）废府留县，归雁北道。道废后直属省。
抗日战争时期曾一度以右玉县南境及朔县（今朔州市城区）、左云县部分地区置右南县，属晋绥五专署。1949年右玉县属察哈尔省。1952年复归山西省，属雁北专区。1958年并入左云县。1961年复县，隶属不改。1967年属雁北地区。1972年将县址由旧城（右玉城）迁至梁家油坊。
1996年，右玉县面积1964平方千米，人口约11万人。辖3个镇、13个乡：梁家油坊镇、右玉城镇、威远堡镇、牛心堡乡、白头里乡、元堡子乡、高家堡乡、西碾头乡、威坪堡乡、丁家窑乡、杨千河乡、杀虎口乡、李达窑乡、破虎堡乡、欧家村乡、高墙框乡。县政府驻梁家油坊镇。
2000年第五次人口普查，右玉县常住总人口105143人，其中，粱家油坊镇35382人，右玉城镇7557人，威远堡镇8600人，牛心堡乡4284人，白头里乡4933人，高家堡乡6349人，元堡子乡7571人，西碾头乡2765人，威坪堡乡2682人，丁家窑乡3463人，杨千河乡3802人，杀虎口乡2455人，李达窑乡6375人，破虎堡乡2249人，欧家村乡3008人，高墙框乡3668人。
2001年，梁家油坊镇更名为新城镇，右玉城镇、杀虎口乡、高墙框乡合并为右卫镇，威远堡镇、威坪堡乡合并为威远镇，欧家村乡并入牛心堡乡，破虎堡乡并入破虎堡乡，西碾头乡并入高家堡乡。区划调整后，全县辖4个镇、6个乡：新城镇、右卫镇、威远镇、元堡子镇、牛心堡乡、白头里乡、高家堡乡、丁家窑乡、杨千河乡、李达窑乡。县政府驻新城镇。
2010年第六次人口普查，右玉县常住总人口112063人，其中，新城镇52903人，右卫镇10017人，威远镇8468人，元堡子镇11837人，牛心堡乡4455人，白头里乡5687人，高家堡乡6958人，丁家窑乡2335人，杨千河乡2925人，李达窑乡6478人。
2015年末，右玉县辖4个镇、6个乡（合计10个），13个居委会、321个村委会（合计334个）。