秦属泗水郡。汉分属洨（音淆，xiao）、虹、谷阳、符离、夏丘、下邳诸县领辖。三国属魏之下邳。西晋属沛国；东晋属阳平郡。南北朝改阳平郡为谷阳郡，又置连城、高昌二县，本县南郊隶属连城县。梁置临潼郡，北齐废为县，后又置潼郡，辖今县境北部。隋初属彭城郡，后改属下邳郡。唐初属谷阳县，隶徐州。显庆元年（656），夏丘更为虹，废谷阳入蕲县，本县分属虹、蕲两县。元和四年（809），虹县部分属宿州，隶河南道。五代十国，本县分属宿州、泗州之地。
宋元祐元年（1086年）析虹县之零璧镇置零壁县，同年七月复为镇。元祐七年二月，零璧复为县。（据《名胜志》：“以县产磐石，珍之如壁，故名。”）政和七年（1117年）改为灵壁县。属宿州，隶淮南东路；建炎后没于金。元初复立灵璧县，属宿州，隶河南归德府。至元四年（1267）改属泗州；十七年复属宿州。明初属宿州，洪武四年（1371），宿州改属临濠府；六年属中立府；七年属中书省凤阳府；后属凤阳府，直属南京。清顺治二年（1645）改属江南省凤阳府；康熙六年（1667）改属安徽省，先后属凤阳府、凤颍六泗道管辖。
民国元年（1912）四月废州设县，本县直属安徽省。民国三年置道，属淮泗道。十六年废道，又直属安徽省。二十一年，属第六行政区。二十四年改为九个行政督察区，本县属第六督察区。抗日战争期间，先后裁并改设8个专署，本县属第六专署。三十四年，属第四行政区。1948年11月25日，灵璧解放，属江淮解放区第三行署。1949年4月21日改属皖北行署宿县专区。1952年4月12日改属安徽省宿县专区，1956年元月12日改属安徽省蚌埠专区。1961年4月13日，本县属宿县专区（1971年3月29日改为宿县地区，现为宿州市），隶属关系未变。
本县自置县至元代，县境区域无考。至明嘉靖年间，县域东至虹县界河北35里，西至宿州界大店60里，南至五河界潼河140里，北至徐州界双沟140里；东到虹县60里，西到宿州120里，南到临淮县180里，北到徐州180里，东南到五河县120里，西南到怀远县180里，东北到睢宁县150里，西北到萧县220里；南到南京陆路527里，水路966里，北到北京陆路1883里，水路2310里。
清乾隆年间，县境东西70里，南北270里。县城东至虞姬墓15里，与本府虹县交界；东北至潼郡集90里，与徐州府睢宁县交界，至杨家桥100里，与徐州府邳州交界；北至黄河120里，与徐州府铜山县交界；西北至梅山120里，与徐州府萧县交界；西至宿灵庵55里，与本府宿州交界；西南至曹老集120里，与本府怀远县交界；南至淮河150里，与本府凤阳县交界；东南至乔家集90里，与泗州五河县交界。
民国期间，本县区域略有变动。至1949年，全县总面积为2364平方千米。1955年底，先后将九顶、冯庙、城关3区的23个自然村划归睢宁县和泗县管辖，县境面积为2288平方千米。1965年7月，以沱河为界，将河南的一个镇、5个人民公社划出，归新置的固镇县管辖。
1996年，灵壁县面积2086平方千米，人口约104.8万人，辖13镇8乡：灵城镇、韦集镇、黄湾镇、娄庄镇、杨疃镇、尹集镇、浍沟镇、尤集镇、下楼镇、朝阳镇、渔沟镇、高楼镇、冯庙镇、长集乡、朱集乡、大路乡、大庙乡、禅堂乡、灵西乡、虞姬乡、向阳乡。县政府驻灵城镇。
2000年第五次人口普查，灵璧县常住总人口1051325人，其中，灵城镇57730人，韦集镇46373人，黄湾镇44831人，娄庄镇43492人，杨疃镇63077人，尹集镇65032人，浍沟镇44860人，尤集镇47876人，下楼镇61431人，朝阳镇67481人，渔沟镇59036人，高楼镇63582人，冯庙镇67189人，向阳乡37589人，长集乡26848人，朱集乡38699人，大路乡35571人，大庙乡45219人，禅堂乡45244人，虞姬乡41985人，灵西乡48180人。
2004年，灵璧县乡镇由21个调整为19个：撤销灵西乡、长集乡建制，分别并入娄庄镇、灵城镇（2005年2月正式调整）。2004年末，全县总人口115.62万人。辖13个镇、6个乡。共有524个行政村（另一数据为514个）、4个居委会。
2005年，灵壁县进行行政村区划调整。2010年9月，将灵城镇叶庙村、十里村及禅堂乡三张村委托给县经济开发区管辖。另将娄庄镇娄庄村、渔沟镇渔沟村、尹集镇尹集村撤村设居。
2010年第六次人口普查，灵璧县常住总人口975308人，其中，灵城镇132306人，韦集镇41191人，黄湾镇38459人，娄庄镇68111人，杨疃镇60273人，尹集镇51948人，浍沟镇35770人，尤集镇40693人，夏楼镇56971人，朝阳镇64063人，渔沟镇55563人，高楼镇51055人，冯庙镇54902人，向阳乡34699人，朱集乡38362人，大路乡29905人，大庙乡36376人，禅堂乡34900人，虞姬乡38232人，工业园区11529人。
2014年，尤集镇更名为游集镇（民地函[2014]436号）。