灵台历史悠久，远在商周时期就先后建有密须国、密国。秦代置鹑觚、阴密二县。东汉后期设三水县。东晋南北朝，曾先后立过鹑阴、朝那、安武等县。隋大业元年（605年），分鹑觚置灵台县，取文王伐密筑“灵台”之意，灵台县名始见于史册。同年西部始置良原县，鹑觚、良原、朝那三县均属安定郡。隋大业二年废灵台、阴密入鹑觚，唐武德元年复置灵台县，属麟州，贞观元年废麟州，省灵台入麟游，天宝元年改鹑觚及析麟游为灵台县。
元至元七年（1270年），省灵台入泾川，十一年复置，以良原县省入。清康熙六年分陕西置甘肃省，灵台县遂入甘肃。民国元年（1912年）灵台属泾原道，民国十六年废道，灵台县直隶甘肃省。民国二十五年（1936年），原泾原道划为第二行政督察区，灵台县属之。1949年7月24日，灵台县全境解放，成立灵台县人民政府。1958年10月撤销灵台县并入泾川县。1961年12月恢复灵台县至今。
1996年，灵台县面积2038平方千米，人口22.5万人。辖3个镇、13个乡：中台镇、什字镇、朝那镇、吊街乡、邵寨乡、独店乡、西屯乡、北沟乡、上良乡、新开乡、梁原乡、龙门乡、新集乡、星火乡、百里乡、蒲窝乡。县政府驻中台镇。
2000年第五次人口普查，灵台县常住总人口204537人，其中，中台镇23159人，什字镇17119人，朝那镇15855人，吊街乡9947人，邵寨乡15225人，独店乡21489人，西屯乡16167人，北沟乡9380人，上良乡14214人，新开乡9386人，粱原乡15671人，龙门乡5079人，新集乡3938人，星火乡10888人，百里乡6866人，蒲窝乡10154人。
2003年12月8日，甘肃省民政厅《关于平凉市乡镇行政区划调整的批复》（甘民区复字[2003]49号），以及平政发[2003]180号文件：灵台县撤销吊街乡，将该乡并入独店镇；撤销北沟乡，将该乡并入什字镇；撤销新集乡，将该乡并入百里乡。
2008年末，全县面积2038平方千米，辖13个乡镇，184个行政村，1429个村民小组。农业人口5.15万户21.28万人。
2010年第六次人口普查，灵台县常住总人口183937人，其中，街道办事处16430人，中台镇12148人，邵寨镇11996人，独店镇26133人，什字镇25183人，朝那镇16111人，新开乡6929人，西屯乡13359人，上良乡11406人，梁原乡14516人，龙门乡3496人，星火乡9315人，百里乡8150人，蒲窝乡8271人，万宝川农场494人。
2015年，省民政厅（甘民复〔2015〕49号）批复同意撤销西屯乡、上良乡，设立西屯镇、上良镇。