巴彦淖尔系蒙古语，意为富饶的湖泊。1956年设巴彦淖尔盟，盟行署驻磴口县，1970年移驻临河市。今辖区在1958年前，仅磴口县属巴彦淖尔盟，乌拉特三旗属乌兰察布盟，其余旗、县、市均属河套行政区。原辖之阿拉善旗和额济纳旗1969年分别划入宁夏和甘肃。
2003年12月1日，国务院（国函[2003]121号）批准同意撤销巴彦淖尔盟，设立地级巴彦淖尔市：（1）撤销巴彦淖尔盟和县级临河市，设立地级巴彦淖尔市。市人民政府驻新设立的临河区新华东街。（2）巴彦淖尔市设立临河区。以原县级临河市的行政区域为临河区的行政区域，区人民政府驻庆丰东街。（3）巴彦淖尔市辖原巴彦淖尔盟的乌拉特前旗、乌拉特中旗、乌拉特后旗、杭锦后旗、五原县、磴口县和新设立的临河区。
1996年?，巴彦淖尔盟面积64413平方千米，人口165.8万人，其中蒙古族占3.9％。盟行署驻临河市。辖临河市、乌拉特前旗、乌拉特中旗、乌拉特后旗、杭锦后旗、磴口县、五原县，计1市4旗2县。
2000年第五次人口普查，巴彦淖尔盟总人口1682662人；其中：临河市510965人、五原县269082人、磴口县117561人、乌拉特前旗319376人、乌拉特中旗133309人、乌拉特后旗48090人、杭锦后旗284279人。
2000年末，全盟总面积64413平方千米。总人口171.98万人，其中城镇人口53.52万人，农牧区人口118.46万人；蒙古族8.25万人，汉族161.24万人，其他民族2.49万人。
2005年7月8日，民政部（民函[2005]158号）批准同意将乌拉特后旗人民政府驻地由赛乌素镇迁至巴音宝力格镇。
2005年，巴彦淖尔市按照自治区关于开展乡镇机构改革试点要求，将杭后的16个乡镇调整为8个镇。2006年，将其余6个旗县区的80个苏木乡镇调整为40个苏木镇。全市苏木镇总数为48个。
2006年末，全市总面积64413平方千米。常住人口173.61万人。辖临河区、杭锦后旗、乌拉特前旗、乌拉特中旗、乌拉特后旗、五原县、磴口县。7个旗县区，共有48个苏木镇。
2009年末，全市总面积64413平方千米。总人口173.3万人，其中蒙古族人口8.4万人；城镇人口79.5万人。辖临河区、杭锦后旗、乌拉特前旗、乌拉特中旗、乌拉特后旗、五原县、磴口县。
2012年初，自治区政府批复同意巴彦淖尔市对部分苏木镇行政区划进行调整，7个旗县区恢复11个苏木乡镇，分别是临河区恢复2个乡、五原县恢复2个乡镇、磴口县恢复1个镇、前旗恢复2个苏木镇、中旗恢复2个镇、后旗恢复1个苏木、杭后恢复1个镇。全市苏木乡镇总数由48个增加到59个。