汉元鼎六年（公元前111年）属南海郡番禺县地，晋咸和六年（311年）属东官郡地。隋开皇十年（590年）东官县改名为宝安县。唐至德二年（757年）宝安县改名为东莞县，东莞县在香山岛上设置文顺乡。北宋设香山镇，因五桂山“多神仙花卉”、“色香俱绝”得名，境域为今中山市的石岐、沙溪、大涌、环城、深湾、三乡、神湾、石塘、五桂山、南蓢、翠亨、张家边和珠海市的山场、前山、唐家、下栅一带地方。南宋绍兴二十二年（1152年）置香山县，属广州府。沿至元、明、清。
辛亥革命后属广东省。1925年（民国14年）4月15日为纪念孙中山先生改名为中山县。1949年后，先后属珠江、粤中、佛山地区。1953年3月12日内务部批准设立石岐市（省辖市），以中山县石岐镇的行政区域为其行政区域。1959年3月20日国务院批准撤销石岐市，将原石岐市的行政区域全部划归中山县。1983年12月22日，经国务院批准，中山县撤县改市（县级），由佛山市代管。1988年1月7日，升为地级市。
1951年1月，中山县设置1个区级镇（石岐镇）、11个区。1953年3月改设17个区、3个区级镇。同年6月，中山县分出珠海县后，全县设15个区，3个区级镇。1955年8月，全县各区均以区（镇）所在地命名。1957年2月，撤区改设乡，15个区改划为34个大乡。
1958年8月，各大乡建立人民公社。同年10月，全县34个公社合并为7个大公社，实行政社合一体制，全县共辖34个耕作区。1959年10月，石岐公社改为石岐镇；12月，经广东省人民委员会确定为县级镇，仍称中山县石岐镇，属中山县和佛山专区双重管辖。1961年8月，恢复区建制，其中张家边区辖榄边、南蓢、翠亨等7个公社。1963年初，撤销区建制。
1976年12月，全县设3个区级镇、25个公社。1983年11月，撤销公社，改称区公所，下辖乡（乡级镇）。1984年2月，撤销石岐镇，设立中山市石岐中区、石岐烟墩区、石岐岐江区、石岐莲峰区、石岐西区，为市委、市政府的派出机构，该5个区称作城区。1986年7月，从南蓢区划出4村成立翠亨村镇；12月，撤区改镇建制，并扩大市区范围，郊区和环城、张家边划入市区。
1995年，中山市面积1683平方千米，人口125万人，另外有华侨30多万人，港澳同胞30多万人。辖9街道24镇：中山港街道、中区街道、东区街道、西区街道、郊区街道、环城区街道、岐江区街道、莲峰区街道、烟墩区街道、三乡镇、三角镇、大涌镇、小榄镇、五桂山镇、古镇镇、东凤镇、东升镇、民众镇、沙朗镇、沙溪镇、坦洲镇、坦背镇、板芙镇、阜沙镇、南头镇、南朗镇、神湾镇、浪网镇、黄圃镇、港口镇、翠亨村镇、横门镇、横栏镇。市政府驻东区。
1996年9月，将中区、烟墩区、莲峰区、岐江区4个街道合并为中区街道；同年12月，石岐郊区街道改为北区街道。1998年1月1日，环城区街道正式更名为南区街道。1998年，撤销翠亨村镇、横门镇，将其行政区域并入南蓢镇。1998年8月，撤销管理区。1999年，撤销沙朗镇并入西区街道，撤销坦背镇并入东升镇。
2000年第五次全国人口普查，中山市总人口2363322人（其中本市户籍人口135万人）：石岐街道197399人、东区街道112387人、中山港（火炬区）街道109878人、西区街道62996人、环城（南区）街道49433人、小榄镇309948人、黄圃镇98373人、民众镇81822人、东凤镇94816人、东升镇111796人、古镇镇124794人、沙溪镇140791人、坦洲镇134296人、港口镇80873人、三角镇62548人、横栏镇66195人、南头镇55110人、埠沙镇40086人、南朗镇83784人、三乡镇173492人、板芙镇70609人、大涌镇55463人、神湾镇28720人、五桂山镇17713人。
2000年5月，经省政府批准，撤销中区街道办事处和北区街道办事处，组成石岐区街道办事处；撤销浪网镇，将其并入民众镇；6月8日正式实施。至2000年底，全市设置19个镇、4个街道、1个开发区，辖94个居委会、400个村委会。
2002年，中山市辖5个街道（东区、西区、石岐、环城、中山港）、19个镇（港口、三角、民众、南蓢、三乡、坦洲、神湾、板芙、大涌、沙溪、横栏、古镇、小榄、东凤、南头、阜沙、黄圃、东升、五桂山），400个村委会、124个居委会。
2003年9月1日，南蓢镇更名为南朗镇。2005年11月10日，中山市政府《关于撤销五桂山镇设立五桂山街道办事处的通知》（中府[2005]165号）：根据《关于同意撤销中山市五桂山镇设立五桂山街道办事处的批复》（粤民区[2005]44号）精神，决定撤销五桂山镇，设立五桂山街道办事处。至此，中山市辖6个街道、18个镇。
2008年末，全市户籍总人口1464343人，其中非农业人口772615人。辖6个街道（石岐、东区、西区、环城、中山港、五桂山）、18个镇（港口、三角、民众、南朗、三乡、坦洲、神湾、板芙、大涌、沙溪、横栏、古镇、小榄、东凤、南头、阜沙、黄圃、东升）。市政府驻东区街道。
2009年末，中山市面积1770.42平方千米，辖6个街道、18个镇，120个社区、159个行政村。市政府驻东区街道。