民国二年定县名为乌苏，系汉语称谓。乌苏为“库尔喀喇乌苏”的简称。“库尔喀喇乌苏”系蒙古语。“库尔”意为雪，有库尔河流经。“喀喇乌苏”意为黑河或清泉之河。又因清代曾在城北10千米的西湖设官衙，维吾尔语称乌苏为“西湖”。
在西汉、三国时期为车师之西境。唐显庆二年（657年）后隶属昆陵都护府，南宋属西辽，元属别失八里行尚书省，明属瓦剌，明末清初为蒙古准噶尔部游牧地。清乾隆二十二年（1757年）设官职率兵驻防此地，乾隆二十六年（1761年）设库尔喀喇乌苏办事大臣，三十七年（1772年）修筑庆绥城，仍名库尔喀喇乌苏，设领队大臣，并设县丞。四十九年筑新城于东北，而城仍旧称，光绪十二年（1886年）置库尔喀喇乌苏直隶厅，隶迪化府。
民国二年（1913年）改为乌苏县，属镇迪道。民国六年（1917年）三月划属塔城道。后隶属塔城行政区、塔城专区。1968年后属塔城地区。1996年7月10日，国务院批准撤撤销乌苏县，设立乌苏市。
1996年，乌苏市辖9个镇、9个乡：乌苏镇、白杨沟镇、哈图布呼镇、皇宫镇、车排子镇、甘河子镇、百泉镇、古尔图镇、西湖镇、八十四户乡、四棵树镇、九间楼乡、夹河子乡、吉尔格勒特郭楞蒙古族乡、塔布勒合特蒙古族乡、石桥乡、头台乡、西大沟乡。市政府驻乌苏镇。
2000年第五次人口普查，乌苏市常住总人口100359人，其中（5个街道、10个镇、7个乡）：新市区街道10889人、南苑街道13423人、西城区街道15395人、虹桥街道6197人、奎河街道4478人、白杨沟镇4077人、哈图布呼镇15050人、皇宫镇11569人、车排子镇5830人、甘河子镇9606人、百泉镇7596人、四棵树镇11008人、古尔图镇9882人、西湖镇7751人、西大沟镇8374人、八十四户乡13775人、夹河子乡3938人、九间楼乡6240人、石桥乡5325人、头台乡4213人、吉尔格勒特郭愣蒙古族乡5186人、塔布勒合特蒙古族乡1939人、甘家湖牧场2950人、巴音沟牧场2829人、赛力克提牧场2124人、乌苏监狱715人。
2003年，乌苏市总面积14393.94平方千米，总人口206708人，辖5个街道、10个镇、5个乡、2个民族乡：新市区街道、南苑街道、西城区街道、虹桥街道、奎河街道、皇宫镇、车排子镇、甘河子镇、百泉镇、西湖镇、四棵树镇、西大沟镇、古尔图镇、哈图布呼镇、白杨沟镇；石桥乡、八十四户乡、九间楼乡、夹河子乡、头台乡、吉尔格勒特郭楞蒙古族乡、塔布勒合特蒙古族乡。市政府驻市区乌鲁木齐北路。
2010年第六次人口普查，乌苏市常住总人口298907人，其中：南苑街道35974人，虹桥街道25019人，西城区街道11594人，白杨沟镇3506人，哈图布呼镇15827人，皇宫镇10310人，车排子镇5834人，甘河子镇9072人，百泉镇8485人，四棵树镇10671人，古尔图镇10618人，西湖镇7458人，西大沟镇7827人，八十四户乡13494人，夹河子乡3262人，九间楼乡5749人，石桥乡5414人，头台乡4435人，吉尔格勒特郭愣蒙古民族乡5303人，塔布勒合特蒙古民族乡1983人，甘家湖牧场3472人，巴音沟牧场2486人，赛力克提牧场1424人，乌苏监狱199人，兵团一二三团18542人，兵团一二四团17762人，兵团一二五团17499人，兵团一二六团12639人，兵团一二七团11944人，宾团一二八团10758人，兵团一三零团347人。