汉元鼎六年（前111）属始安县地。唐至德二年（757）属临桂县辖地，1913年为桂林县治所，1940年临桂县治分属桂林市培风、义南镇和西南附廓乡，1950年属第二区和西郊区，1955年改阳桥、南门2街道和东莲乡，1958年改阳桥、南站2公社，1966年更名为东升、跃进公社，1979年2公社合并设象山区。
1996年底行政区划调整前，象山区面积19平方千米，人口约15万人。辖阳桥上、阳桥下、五美、临桂、崇善、曙光、西城、西南环、福旺、文明、竹园、文昌、文外、文新、虹桥、南外、雉山、维新、尚智、上海、天鹅、桂青、八一、南溪、龙航坪小区、南新、民族、银锭、甘棠、竹林、兰竹、青竹、翠竹、金竹、黑山、东安、猴山、将军、平山、瓦窑40个居委会和安新、同心、平山3个行政村。区政府驻银锭路。
1996年12月2日，国务院批准对桂林市市辖区的行政区划作相应调整：扩大象山区的行政区域，将原郊区的二塘乡、柘木镇的同心、平山两个村和穿山乡的安新村划归象山区管辖。区人民政府驻银锭路。
2000年第五次人口普查，象山区总人口249135人，其中：南门街道93087人，象山街道38339人，平山街道100334人，二塘乡17375人。
2003年象山区行政区划（根据当年广西行政区划代码整理）
001 南门街道 辖龙船坪、天鹅、雉山、银锭、民族、甘棠、东安、新竹、竹林、金竹、翠竹11个社区居委会。
002 象山街道 辖五美、西城、文明、虹桥、文新、安新、安家洲7个社区居委会。
003 平山街道 辖同心、银海、龙泉、力创、平山东、平山西、大风山、瓦窑、将军桥、溪园、猴山11个社区居委会；同心、平山2个村委会。
200 二塘乡 辖泮塘、阳家、红光、万福、四合、北芬6个村委会。
2013年1月18日，《国务院关于同意广西壮族自治区调整桂林市部分行政区划的批复》（国函[2013]17号）同意桂林市人民政府驻地由象山区五美路16号迁至临桂区西城中路69号。