春秋时，象山为越国鄞地。汉为鄞县、回浦（后改章安）两县地。唐初分属宁海及鄮县；神龙二年（706），析台州宁海、越州鄮县地置象山县，治彭姥村，因村北有山，“形似伏象”，故名象山，县以山名，属台州；广德二年（764），改隶明州（明代改称宁波）。民国元年，南田立县，治樊岙，同年4月，划象山东溪岭以南地入南田县，遂迁治石浦。翌年取消划并，南田还治樊岙。1940年，撤南田县，另置三门县，南田为其辖地。1949年7月8日，象山解放。10月成立县人民政府，属宁波专区，1952年，南田从三门划归象山。1954年4月，象山改隶舟山专区。1958年10月，宁海县并入象山，隶台州专区。1961年10月，复置宁海县，象山还治原境，回属宁波专区（后称地区）。1983年，宁波地、市合并，象山为宁波市属县。
解放初设4区、2镇、18乡。1985年，全县辖5区5镇32乡。1992年5月，撤区扩镇并乡，全县辖13镇6乡。1995年12月29日，浙江省民政厅（浙民行字[1995]36号）批复同意象山县下沈乡撤乡建镇。全县陆地面积1175平方千米，海域约5000平方千米，人口约52.7万人。辖14个镇、5个乡：丹城镇、石浦镇、爵溪镇、西周镇、鹤浦镇、贤庠镇、墙头镇、泗洲头镇、定塘镇、昌国镇、涂茨镇、大徐镇、新桥镇、下沈镇、东陈乡、晓塘乡、黄避岙乡、茅洋乡、高塘岛乡。县政府驻丹城镇。
2000年第五次人口普查，全县总人口484236人，其中：丹城镇104539人、石浦镇81982人、爵溪镇17862人、西周镇26551人、鹤浦镇29790人、贤庠镇21263人、墙头镇19507人、泗洲头镇12278人、定塘镇26724人、昌国镇10771人、涂茨镇16918人、大徐镇14156人、新桥镇20885人、下沈镇12099人、东陈乡17853人、晓塘乡14017人、黄避岙乡9437人、茅洋乡9899人、高塘岛乡17705人。
2001年6月15日，浙江省人民政府（浙政函[2001]95号）批准同意象山县部分行政区划调整：（1）撤销昌国镇，并入石浦镇，辖79个村、22个居委会，驻地不变。（2）撤销下沈镇，并入西周镇，辖76个村、4个居委会，驻地不变。（3）撤销丹城镇、爵溪镇，其行政区域由象山县政府直辖。在此区域调整设立若干街道办事处事宜，由宁波市参照有关规定办理。 6月19日至30日，象山县调整部分行政区划：撤销6个建制镇，新建3个街道和2个镇。撤销丹城镇建制，以天安路为界，设立丹东街道和丹西街道。撤销爵溪镇建制，设立爵溪街道。撤销石浦镇、昌国镇建制，合并设立新的石浦镇。撤销西周镇、下沈镇建制，合并设立新的西周镇。调整后，象山县辖3个街道、10个镇、5个乡：丹东街道、丹西街道、爵溪街道、石浦镇、西周镇、贤庠镇、墙头镇、涂茨镇、大徐镇、泗洲头镇、定塘镇、新桥镇、鹤浦镇、黄避岙乡、茅洋乡、东陈乡、高塘岛乡、晓塘乡。（1）丹东街道面积38.0平方千米，人口6.70万，辖7个社区、37个行政村，办事处驻建设路309号；（2）丹西街道面积42.0平方千米，人口6.10万，辖5个社区、41个行政村；（3）爵溪街道面积31.8平方千米，人口2.70万，辖4个居民区、10个行政村；（4）石浦镇面积119.4平方千米，人口8.34万，辖22个居民区、79个行政村；（5）西周镇面积151.0平方千米，人口4.80万，辖4个居民区、76个行政村。
2001年末，象山县面积1172平方千米，总人口53.05万人，其中非农业人口9.71万人。辖3个街道、10个镇、5个乡，55个居委会、708个行政村。县政府驻后堂街。
2002年9月，象山县辖3街道、10镇、5乡，12个社区、43个居民区、713个行政村。2002年末，象山县面积1172平方千米，总人口52.86万人，其中非农业人口9.96万人，辖3个街道、10个镇、5个乡，55个居委会、713个行政村。
2003年末，象山县面积1172平方千米，总人口52.63万，其中非农业人口10.10万人。辖3个街道、10个镇、5个乡，56个居委会、706个行政村。
2004年末，象山县总面积1172平方千米，总人口52.37万人，辖3个街道、10个镇、5个乡，42个社区、498个行政村（宁波年鉴数据；宁波地名网为：陆域面积1176.9平方千米，其中本土面积995平方千米，人口52.76万人，辖3个街道、10个镇、5个乡，23个社区、19个居民区、498个行政村）。
2005年末，象山县陆地面积1177平方千米（宁波地名网为：陆域面积1175平方千米，其中本土面积995平方千米），户籍人口52.74万人，辖3个街道、10个镇、5个乡，24个居委会、490个行政村。2006年末，象山县辖3个街道、10个镇、5个乡，24个社区、19个居民区、490个行政村。2009年末总人口53.71万人。