公元前121年，汉武帝开辟了河西武威、酒泉、张掖、敦煌四郡。武威，即武功军威之意，因此而得名。当时武威郡下属姑臧、张掖、武威、休屠、次、鸾鸟、扑 、媪围、苍松、宣围?（威?）10个县，治所在故臧。元封五年（前106），武威郡属凉州刺史部，凉州之名自此始。意为“地处西方，常寒凉也”。
三国魏黄初元年（220），魏文帝置凉州，一直到西晋，姑臧均为凉州治所。东晋，十六国时期，前凉、后凉、南凉、北凉及唐初的大凉，都曾建都与此。北宋为西夏西凉府。清雍正二年（1724）置凉州府。民国时期先后为甘凉道、督察区、专员分署所在地，辖武威、民勤、永昌、古浪、永登等县。
1949年设武威专区，专署驻武威县，辖武威、永登、古浪、民勤、景泰、永昌等6县。1950年5月6日由永登县的天祝区设立天祝自治区（县级），自治区人民政府驻南冲寺（1951年迁驻安远驿）；同年，原张掖专区所属张掖、民乐、山丹3县划入武威专区，辖9县、1自治区。1953年天祝自治区改称天祝藏族自治区。
1955年7月，天祝藏族自治区改为天祝藏族自治县；10月，武威专区撤销，与酒泉专区合并为张掖专区。1961年复设武威专区，专署驻武威县；将张掖专区所属武威、永昌、民勤3县和天祝藏族自治县划归武威专区；恢复古浪县；辖4县、1自治县。1963年原白银市领导的景泰县和兰州市领导的永登县划入武威专区。
1969年原属内蒙古自治区的阿拉善右旗（驻额肯呼都格）划入武威专区，辖6县、1自治县、1旗。1970年武威专区改称武威地区，将永登县划归兰州市领导。1978年景泰县驻地从芦阳迁至一条山。1979年，将阿拉善右旗划归内蒙古自治区，武威地区辖5县、1自治县。1986年6月,撤销武威县，设立武威市（县级）。
1996年，武威地区面积3.3万平方千米，人口约182.4万人，公署驻武威市，辖民勤、古浪2县及天祝藏族自治县，代管武威市。2000年第五次人口普查，武威地区常住总人口1836986人，其中，武威市946506人、民勤县302085人、古浪县367048人、天祝县221347人。
2001年5月9日，国务院批准（国函[2001]47号）：（1）撤销武威地区和县级武威市，设立地级武威市。市人民政府驻新设立的凉州区。（2）武威市设立凉州区，以原县级武威市的行政区域为凉州区的行政区域。区人民政府驻东大街。（3）武威市辖原武威地区的民勤县、古浪县、天祝藏族自治县和新设立的凉州区。
2003年末，全市总面积33238平方千米，总人口193.45万人。辖116乡镇（75乡、41镇）、7街道（包括古浪县的1个街道办），55社区、1129村，8199组。
2004年，全市乡镇行政区划调整后，共管辖93个乡镇（包括勘界调整前天祝县的东坪、赛拉隆乡）、8个街道（包括古浪县的1个街道办）；79（一说56）个社区，1129个行政村，8199个村民小组。其中，乡52个、镇41个。
2010年第六次人口普查，武威市常住总人口1815059人，其中，凉州区1010295人，民勤县241251人，古浪县388720人，天祝藏族自治县174793人。2014年末，全市共有8个街道、43个镇、50个乡。
2015年，省民政厅（甘民复〔2015〕94号）批复同意：凉州区撤销金沙乡、怀安乡、河东乡、松树乡、清水乡、下双乡，设立金沙镇、怀安镇、河东镇、松树镇、清水镇、下双镇；民勤县撤销昌宁乡、重兴乡、薛百乡、大坝乡、苏武乡、大滩乡、双茨科乡、红沙梁乡，设立昌宁镇、重兴镇、薛百镇、大坝镇、苏武镇、大滩镇、双茨科镇、红沙梁镇；古浪县撤销永丰滩乡、黄花滩乡、西靖乡，设立永丰滩镇、黄花滩镇、西靖镇；天祝藏族自治县撤销朵什乡，设立朵什镇。