春秋时周定王十三年（公元前594年）晋国置瓜衍县（今市区北5千米虢城村）。秦王政二十二年（公元前225年）属兹氏县域。西汉属兹氏县。三国魏中阳县治徙今市区西13千米巩村，属西河郡。西晋永嘉元年（公元307年）并入隰县。北魏太和十七年（493年）于今市区东3千米置永安县，属西河郡。孝昌年间吐京郡自今石楼县境寄治今市区西10千米吐京村，永安二年（529）于今市区西10千米六壁头村侨置显州及建平郡，于今虢城村置定戎郡，所置郡俱属显州。北齐废显州及所属郡。
唐武德三年（620）于今市区西南33千米王庄堡村别置高唐县，属北温州。贞观元年（627）废高唐县，改永安县为孝义县，属汾州。“因县人郑兴有孝义，故以名焉”。另据《读史方舆纪要》载，县名以县境有孝水和义水得名。宋太平兴国元年（976）为避太宗赵光义名讳，改中阳县。次年太宗改名，县复称孝义。熙宁五年（1072）废入介休县。元祐元年（1086）复置孝义县，属汾州。明、清属汾州府。民国初年属冀宁道，道废后直属省。
1949年属汾阳专区。1951年属榆次专区。1958年12月撤县并入介休县（属晋中专区），为孝义人民公社联社（1959年改称介休县孝义协作区）。1961年复置孝义县，属晋中专区。1967年属晋中地区。1971年属吕梁地区。1992年2月10日，《民政部关于山西省撤销孝义县设立孝义市的批复》（民行批〔1992〕12号）：经国务院批准，同意撤销孝义县，设立孝义市（县级），以原孝义县的行政区域为孝义市的行政区域。2003年由地级吕梁市代管。
1949年，全县划分为8个区，辖88个行政村，405个自然村；同年12月，将郭家掌区的弓阳镇和凤尾两个行政村（包括弓阳镇、开府、凤尾、石板上、任家湾和申家湾6个自然村）划归中阳县辖。1953年，将小虢城等7村划归汾阳县，将万户侯村划归介休县；将隰县的大麦郊区8个乡52个自然村和汾阳县北辛安村划归孝义县；孝义县辖8个区，68个乡，481个自然村。1956年，全县合并为33个乡，灵石县安生乡14个自然村划属孝义县辖。1958年合并为16个乡；同9月合并为城关、梧桐、白壁关、兑镇、后河、下堡、西泉、大麦郊8个乡。
1958年，8个乡改为8个公社；同年12月，孝义县并入介休县。1961年5月，恢复孝义县，辖城关、大孝堡、司马、白壁关、东许、杜村、兑镇、南阳、阳泉曲、梧桐、下栅、柱濮、驿马、西泉、下堡、温泉、大麦郊、坛索18个公社。1971年5月，温泉、大麦郊、坛索3个公社划归交口县。1981年设李家庄公社。自此，全县共有16个公社，363个生产大队，722个生产队。1984年7月，将16个公社改制为16个乡。1985年10月，增设城关镇。
1992年，孝义市辖6个镇、12个乡，23个居委会、380个村委会。1995年，司马乡、梧桐乡、柱濮乡改为镇，全市辖辖9个镇、9个乡：城关镇、司马镇、梧桐镇、柱濮镇、兑镇镇、阳泉曲镇、西辛庄镇、高阳镇、下堡镇、城关乡、大孝堡乡、东许乡、下栅乡、李家庄乡、白璧关乡、驿马乡、南阳乡、杜村乡。面积946平方千米，人口约39万人。市政府驻城关镇。
1998年6月，撤销城关镇，设立新义街道、三贤街道；撤销城关乡，设立古城镇。1999年末，全市辖2个街道、9个镇，8个乡，381个行政村，396个自然村。
2000年第五次人口普查，孝义市常住总人口414154人，其中，三贤街道39323人，新义街道29633人，兑镇镇50820人，阳泉曲镇41958人，下堡镇23892人，西辛庄镇15911人，高阳镇23811人，司马镇16167人，梧桐镇26107人，柱濮镇15439人，古城镇30015人，大孝堡乡20183人，白壁关乡19169人，下橱乡13881人，东许乡11177人，驿马乡8359人，南阳乡8177人，杜村乡9579人，李家庄乡10553人。
2001年，撤销三贤街道，并入新义街道；撤销古城镇，设立中阳楼街道；撤销司马镇，设立振兴街道；撤销白壁关乡，并入高阳镇；撤销东许乡，并入梧桐镇；撤销李家庄乡，并入大孝堡乡。区划调整后，全市辖3个街道、7个镇、5个乡：新义街道、中阳楼街道、振兴街道、兑镇镇、阳泉曲镇、下堡镇、西辛庄镇、高阳镇、梧桐镇、柱濮镇、大孝堡乡、下栅乡、驿马乡、南阳乡、杜村乡。共有381个行政村，396个自然村。
2003年9月17日，从梧桐镇分出原东许乡政区设立东许办事处。2008年设立崇文街道。
2010年第六次人口普查，孝义市常住总人口468770人，其中，新义街道110545人，中阳楼街道37596人，振兴街道14809人，东许办事处10198人，崇文街道36284人，兑镇镇42196人，阳泉曲镇34570人，下堡镇18119人，西辛庄镇16839人，高阳镇40393人，梧桐镇26766人，柱濮镇10445人，大孝堡乡32374人，下栅乡15037人，驿马乡7793人，南阳乡6402人，杜村乡8404人。
2010年5月15日，设立胜溪湖办事处。2011年，全市辖4个街道、7个镇、5个乡，2个办事处，21个社区、379个行政村。
2013年9月26日，胜溪湖办事处、东许办事处合并为胜溪湖街道。
2014年末，全市常住人口478765人。2015年末，孝义市辖4个街道（不包括胜溪湖街道）、7个镇、5个乡（合计16个），48（一说50）个居委会、379个村委会（合计427个）。