西汉元朔五年（公元前124年），置泉陵侯国，为境内建县之始，属零陵郡，治所在今零陵区城北1千米处。隋开皇九年（589年），改泉陵县为零陵县。
1982年1月，改零陵县永州镇为县级永州市。1984年6月，撤销零陵县，原零陵县的邮亭圩、菱角塘、富家桥、水口山、珠山、黄田铺等6区和楚江圩区接履桥乡划归永州市（县级）管辖。
1995年撤区并乡，毛溪桥、长塘、马子江3乡并入水口山镇，东湘桥、火湘桥、于家3乡并入珠山镇，双牌铺、鸟塘铺2乡并入黄田铺镇，阳河、大庙头、何仙观3乡并入富家桥镇，喜塘、天字地2乡并入菱角塘镇，郑家桥、梅溪、福田、桐子坪、杨家巷5个乡并入邮亭圩镇，长岭、集义2个乡并入接履桥镇，新宅里、西头2乡并入石岩头镇，湾夫、据江寺2乡并入大庆坪乡，华源、西塘观2乡并入石山脚乡，水字桥、排龙山2乡并入梳子铺乡。
1995年11月21日，国务院（国函[1995]110号）批准：撤销零陵地区和永州市、冷水滩市，设立地级永州市和芝山区、冷水滩区。以原永州市为芝山区的行政区域，芝山区人民政府驻南津路。
1995年（1996年）撤区并乡时，撤销城南街道、南津渡乡合并设立南津渡街道，撤销七里店乡设立七里店街道，毛溪桥、长塘、马子江3个乡并入水口山镇，东湘桥、火湘桥、于家3个乡并入珠山镇，双牌铺、鸟塘铺2个乡并入黄田铺镇，阳河、大庙头、何仙观3个乡并入富家桥镇，喜塘、天字地2个乡并入菱角塘镇，郑家桥、梅溪、福田、桐子坪、杨家巷5个乡并入邮亭圩镇，接履桥乡（直属乡）和长岭、集义2个乡合并设立接履桥镇，石岩头、新宅里、西头3个乡合并设立石岩头镇，湾夫、据江寺2个乡并入大庆坪乡，水字桥、排龙山2乡并入梳子铺乡，华源、西塘观2乡并入石山脚乡。（城北街道更名为徐家井街道）
1996年，芝山区1986平方千米，人口约57万人。辖4个街道、8个镇、4个乡：南津渡街道、七里店街道、朝阳街道、徐家井街道、珠山镇、水口山镇、黄田铺镇、富家桥镇、菱角塘镇、邮亭圩镇、接履桥镇、石岩头镇、大庆坪乡、石山脚乡、凼底乡、梳子铺乡。区府驻徐家井。
2000年第五次人口普查，芝山区常住总人口553077人，其中，徐家井街道30003人，朝阳街道35755人，南津渡街道37960人，七里店街道34927人，邮亭圩镇47917人，接里桥镇23065人，菱角塘镇30620人，富家桥镇45615人，黄田铺镇29265人，珠山镇58576人，石岩头镇35498人，水口山镇40334人，大庆坪乡29890人，石山脚乡27961人，凼底乡20363人，梳子铺乡25330人。
2001年末，芝山区总人口58万人。辖4个街道、8个镇、4个乡：朝阳街道、南津渡街道、七里店街道、徐家井街道、水口山镇、珠山镇、黄田铺镇、富家桥镇、菱角塘镇、邮亭圩镇、接履桥镇、石岩头镇、大庆坪乡、梳子铺乡、石山脚乡、凼底乡。共有545个村（居）委会，
2005年6月15日，民政部《关于湖南省永州市芝山区更名为零陵区的批复》（民函[2005]138号）：经国务院批准，永州市芝山区更名为零陵区，行政区域不变，区人民政府驻地不变。8月1日，湖南省人民政府下发《关于永州市芝山区更名为零陵区的通知》（湘政函[2005]133号）。
2010年第六次人口普查，零陵区常住总人口532705人，其中，朝阳街道45120人，南津渡街道44146人，七里店街道50682人，徐家井街道29822人，水口山镇34105人，珠山镇57387人，黄田铺镇23991人，富家桥镇37364人，菱角塘镇23917人，邮亭圩镇49105人，接履桥镇19578人，石岩头镇34174人，大庆坪乡22654人，梳子铺乡19379人，石山脚乡23967人，凼底乡17314人。
2015年11月18日，省民政厅（湘民行发[2015]28号）批复同意：接履桥镇与七里店街道成建制合并设立七里店街道。石山脚乡与朝阳街道成建制合并设立朝阳街道。调整后，全区辖4个街道、7个镇、3个乡：朝阳街道、南津渡街道、七里店街道、徐家井街道、水口山镇、珠山镇、黄田铺镇、富家桥镇、菱角塘镇、邮亭圩镇、石岩头镇、大庆坪乡、梳子铺乡、凼底乡。总面积1962平方千米，总人口62万人。