石楼，因县东有通天山石叠如楼而得名。据《元和郡县志》，县因县东南有石楼山得名。春秋为屈色。西汉置土军县，属西河郡，东汉初废。西晋时夏主赫连勃勃置吐京护军。北魏太平真君九年（448）置岭西县，兼置吐京郡，县属之，故治在今城关西25千米团圆山下。太和二十一年（497）改吐京县。孝昌中年吐京郡寄治今孝义市境，北周仍归原治。
隋开皇初年废郡，县改属隰州。十八年（598）改石楼县，“因县东石楼山为名”，属龙泉郡。唐武德二年（619）于县置西德州，县属之；同时析石楼县地置临河县（故治在今城关西30千米田家岔村）、长寿县（故治在今城关东3千米故县村），俱属西德州。贞观元年（627）废西德州及临河、长寿2县，石楼县改属东和州。二年改属隰州。
明属平阳府。万历四十年（1612）属汾州府。民国初年属冀宁道，道废后直属省。1949年属汾阳专区。1951年属临汾专区。1958年并入吕梁县。1960年析出，属晋南专区。1967年属晋南地区。1970年属临汾地区。1971年属吕梁地区。2003年属地级吕梁市。
1996年，石楼县面积1743平方千米，人口9万人。辖4镇10乡：城关镇、罗村镇、义牒镇、小蒜镇、龙交乡、西卫乡、东石羊乡、和合乡、西山乡、前山乡、韦家湾乡、韩家山乡、曹家垣乡、裴沟乡。县政府驻城关镇。
2000年第五次人口普查，石楼县常住总人口101858人，其中，城关镇24327人，罗村镇6329人，义牒镇5603人，小蒜镇5474人，龙交乡8789人，东石羊乡4546人，西卫乡8053人，和合乡5404人，西山乡3582人，前山乡5097人，韦家湾乡3835人，韩家山乡5747人，曹家垣乡6377人，裴沟乡8695人。
2001年，区划调整后，全县辖4个镇、5个乡：灵泉镇、罗村镇、义牒镇、小蒜镇、龙交乡、和合乡、前山乡、曹家垣乡、裴沟乡。县政府驻灵泉镇。
2010年第六次人口普查，石楼县常住总人口111815人，其中，灵泉镇41996人，罗村镇11656人，义牒镇6759人，小蒜镇9310人，龙交乡9703人，和合乡9793人，前山乡8446人，曹家垣乡6742人，裴沟乡7410人。
2014年末，全县常住人口114620人。2015年末，石楼县辖4个镇、5个乡（合计9个），1个居委会、134个村委会（合计135个）。