宋置凭祥峒。明洪武十八年（1385年）改凭祥镇，永乐二年（1404年）五月升为凭祥土县，成化十八年（1432年）改为凭祥土州。清宣统二年（1910年）凭祥土州改流置凭祥厅。民国初（1912年）改为凭祥县。
1951年5月，宁明、明江、凭祥三县合并为镇南县。1952年镇南县与思乐县并为宁明县。1955年7月，划凭祥为县级镇，与宁明县分治。1956年11月16日，凭祥镇改为县级市。
1958年12月，宁明县、龙津县、凭祥市合并为睦南县，县政府驻凭祥镇。1959年5月10日，睦南县又分为宁明县、龙津县。时凭祥降为宁明县睦南公社，对外仍称凭祥市。
1961年5月27日宁明县复析出县级凭祥市。2002年12月23日，国务院批准同意撤销南宁地区设立地级崇左市并调整南宁市行政区划，原南宁地区县级凭祥市由广西壮族自治区直辖。2003年1月自治区批准崇左市代管凭祥市。
1961年辖隘口、睦南、竹山3个公社。1966年10月，龙州县平而大队划归凭祥市。1981年6月18日，经国务院批准，宁明县夏石公社划归凭祥市。1984年，撤销公社改为乡镇，全市建立3个乡，34个村民委员会，1个街道办事处，6个街道居民委员会。1996年，凭祥市辖5个镇：凭祥镇、友谊镇、白云镇、上石镇、夏石镇。
2000年第五次人口普查，凭祥市总人口107046人。其中：凭祥镇46786人，友谊镇11153人，白云镇11199人，上石镇15999人，夏石镇21909人。
2003年1月26日，广西壮族自治区政府同意撤销白云镇建制，并调整凭祥镇和友谊镇行政区划。将原白云镇的竹山村划归凭祥镇管辖，凭祥镇政府驻地由屏山路70号搬迁至北大路3支22号（原白云镇政府驻地）。将原白云镇的英阳、三联、宋城、平而、匠龙5个村划归友谊镇管辖。调整后，凭祥市辖4个镇：凭祥镇、友谊镇、上石镇、夏石镇。
2003年凭祥市行政区划（根据当年广西行政区划代码整理）
100 凭祥镇 辖北大路、南大路、狮子山路、屏山路、新华路5个居委会；连全、柳班、南山、前进、竹山5个行政村。
101 友谊镇 辖召化、礼茶、隘口、卡凤、英阳、三联、平而、宋城、匠龙9个行政村。
102 上石镇 辖上石、白龙、燕安、敖、马垌、练江、油隘、板旺、浦东9个行政村。
103 夏石镇 辖夏石、新鸣、那楼、白马、哨平、榴利、丰乐、夏桐、板任、浦门10个行政村。