永州古称零陵，因舜帝南巡崩于宁远九疑山而得名。《史记·五帝本纪》载：舜“南巡狩，崩于苍梧之野，葬于江南九疑，是为零陵”。这里所说的零陵，实际上就是舜陵，或者说是舜陵的别称或美称。秦始皇统一中国后，设立零陵县，也有纪念舜帝之意。隋初因郡西南有“永山永水”，将零陵郡改置永州总管府。永州、零陵从此一地二名。又因潇水与湘江在城区汇合，永州自古雅称“潇湘”。
1949年10～11月，永州各县先后解放。永州专区于10月正式成立。1950年5月，永州专区改名零陵专区。辖零陵（驻芝城镇）、祁阳、东安（驻白牙市）、道县、宁远、江永、江华（驻沱江镇）、新田等8县、36区、8镇、88乡。其中零陵县6区、2镇、27乡；祁阳县6区、1镇、18乡；东安县4区、8乡；道县5区、1镇、13乡；宁远县4区、1镇、9乡；新田县4区、1镇、6乡；永明县3区12镇、7乡；江华县为4区。
1950年，全区调整为65区、14镇、757乡。1952年对行政区划进行调整。零陵县调整为14区、1镇、285乡；祁阳县11区、5镇、215乡、8居委会；东安县7区、3镇、77乡；道县11区、1镇、173乡、6居委会；宁远县11区、228乡；新田县5区、100乡；江华县10区、1镇、187乡；永明县7区、108乡。同年4月，析祁阳县第七、八、九、十区及第五、六区部分乡置祁东县，驻洪桥。
1952年11月，衡阳、零陵、郴州三个专区合并为湘南行政区。原零陵专区所属零陵、东安、祁阳、新田、宁远、江华、道县、永明、祁东等9县划归湘南行署领导。1954年7月，湘南行政区撤销，原零陵专区所属各县，除新田划归郴县专区外，其余县全部划归衡阳专区。1955年11月，江华实行民族区域自治，成立江华瑶族自治县，设6区、97乡。
1958年秋冬，撤销区乡建制，在农村建立人民公社。其中，零陵县2镇、26社，祁阳县25社，东安县1镇、13社，道县1镇、15社，宁远县1镇、15社，新田县6社，江华县9社，江永县1镇、10社。1961年恢复区建制，调整人民公社体制；至年底，零陵县辖10区、2镇、78社，东安县5区、31社，道县11区、41社，宁远县9区、43社，新田县21社，江华县8区、2镇、38社，江永县6区、2镇、41社。
1962年12月底，恢复零陵专区，专署驻零陵县芝城镇；将衡阳专区的零陵（驻芝城镇）、江永、道县（驻道江镇）、宁远、东安（驻白牙市）5县及江华瑶族自治县（驻水口镇）和郴州专区所属蓝山、新田2县划入零陵专区；辖零陵、东安、道县、宁远、江永、江华、蓝山、新田等8县（其中1自治县；祁阳、祁东2县仍属衡阳专区）；共有52区、330社、4424个大队、37704个生产队。
1964年5月，划零陵、道县的12个公社和9个国营林场，设置潇水林区管理局。1966年零陵县驻地芝城镇改名东风镇。1968年9月（一说1970年），改零陵专区为零陵地区，地区驻零陵县东风镇。1969年由潇水林区设立双牌县（驻双牌）。1979年，零陵县东风镇改名永州镇，由地区直接领导。1982年1月，改永州镇为县级永州市（1月23日，国务院批准设立县级永州市，以永州镇和零陵县部分行政区域为该市行政区域）。1983年2月，祁阳县重新划归零陵地区管辖。
1984年6月18日，国务院批准江华瑶族自治县驻地由水口镇迁至沱江镇。1984年6月，撤销零陵县，恢复县级冷水滩市（6月22日，国务院批准撤销零陵县，将零陵县的大部分行政区域并入永州市；恢复县级冷水滩市，以零陵县小部分行政区域为冷水滩市行政区域）。至此，零陵地区辖永州、冷水滩2市和祁阳、东安、双牌、道县、宁远、江永、江华、新田、蓝山等9县。
1984年，根据国务院《关于实行政社分开建立乡政府的通知》精神，撤销人民公社建制，建立乡建制。到年底，零陵地区共辖2市、9县、54区、21镇、376乡、5143村（居）民委员会、45037村（居）民小组和66个国营农林场所。1988年12月27日，国务院批准江永县的大干乡、界牌瑶族乡、桥头铺镇划归江华瑶族自治县。
1995年11月21日，国务院批准（国函[1995]110号）：（1）撤销零陵地区和永州市、冷水滩市，设立地级永州市，市人民政府驻新设立的芝山区。（2）永州市新设立芝山区、冷水滩区。以原永州市为芝山区的行政区域，芝山区人民政府驻南津路；以原冷水滩市为冷水滩区的行政区域，冷水滩区人民政府驻清桥路。（3）永州市辖原零陵地区的祁阳县、新田县、道县、蓝山县、东安县、双牌县、宁远县、江永县、江华瑶族自治县和新设立的芝山区、冷水滩区。1997年7～8月，永州市委、市政府先后迁驻冷水滩区（2000年5月14日，国务院批准将永州市人民政府驻地由芝山区徐家井路迁止冷水滩区逸云路）。
1995年，开展撤区并乡建镇工作。即撤销县的派出机构——区，扩大乡的规模，在条件具备的地方设立建制镇。全市辖冷水滩、芝山2区和祁阳、东安、双牌、道县、江永、江华、宁远、新田、蓝山等9县，共108镇、80乡、5313个村（居）民委员会、45714个村（居）民小组。
2000年第五次全国人口普查，永州市总人口5367106人，其中：芝山区553077人，冷水滩区423462人，祁阳县944602人，东安县556501人，双牌县161510人，道县624199人，江永县235893人，宁远县738259人，蓝山县332937人，新田县358831人，江华瑶族自治县437835人。
2005年6月15日，民政部《关于湖南省永州市芝山区更名为零陵区的批复》（民函[2005]138号）：经国务院批准，永州市芝山区更名为零陵区，行政区域不变，区人民政府驻地不变。8月1日，湖南省人民政府下发《关于永州市芝山区更名为零陵区的通知》（湘政函[2005]133号）。2005年末，永州市辖2个市辖区、8个县、1个自治县，共有10个街道、108个镇、58个乡、22个民族乡。
2007年末，全市总面积22441.43平方千米，户籍总人口598万人。其中市辖区面积3208平方千米、总人口111万人（其中城市人口40多万人）。