“塔城”系“塔尔巴合台城”的简称，因塔尔巴哈台山而得名。“塔尔巴哈台”系蒙古语，意为“旱獭多的地方”，因此地产旱獭，故名。“塔城”民族语文名称，则源于塔城市人民政府所在地楚呼楚这个地名，“楚呼楚”，蒙语，木碗之意，维吾尔语译称为“缺切克”，哈萨克语转音为“乔协克”。
西汉时期为匈奴右地，唐为北庭都护府所属阴山都督府，宋属西州回鹘和西辽。清乾隆二十九年（1764）置塔尔巴哈台，设参赞大臣，至雅尔（今哈萨克斯坦乌尔扎尔）地方屯种筑城。乾隆三十一年（1766）由于雅尔地方冬令雪大难于驻扎，因而移进二百余里楚呼楚（即今塔城市区）地方，另筑新城，颁赐城名绥靖城，隶属伊犁将军。
光绪十四年（1888）设置塔城直隶厅，隶属伊塔道。民国二年（1913年）改塔城直隶厅为塔城县，隶属伊塔道。1916年，伊塔道改为伊犁、塔城两道，塔城县与塔城道同治，隶属塔城道。1917至1942年，和丰、额敏、裕民先后从塔城县析出置县。
1930年隶塔城行政区，1943年隶塔城专区，1968年属塔城地区。1984年11月17日，国务院批准撤销塔城县，设立塔城市。
1996年，塔城市辖3个街道、6个乡：和平街道、新城街道、杜别克街道、二工乡、恰夏乡、阿西尔达斡尔族乡、阿不都拉乡、也门勒乡、喀拉哈巴克乡。驻有农九师所属162、163、164等3个团场和地区种牛场。
2000年，塔城市辖3个街道、1个镇、5个乡。第五次人口普查，塔城市总人口149216人，其中：和平街道16858人、杜别克街道20163人、新城街道18182人、二工镇17107人、喀拉哈巴克乡 9835人、恰夏乡11792人、阿西尔达斡尔民族乡8731人、阿不都拉乡7106人、也门勒乡7641人、良种繁育场1944人、园艺场2192人、也克苏牧场1889人、恰合吉牧场2201人、博孜达克农场4862人、窝依加依劳牧场1921人、地区种牛场2669人、叶尔盏提162团4585人、阿克乔克163团4002人、乌拉斯台164团5530人。
2003年，塔城市总面积4007.19平方千米，总人口156922人，辖3个街道、1个镇、4个乡、1个民族乡：二工镇、也门勒乡、喀拉哈巴克乡、恰夏乡、阿不都拉乡、阿西尔达斡尔族乡。
2010年第六次人口普查，塔城市常住总人口161037人，其中：和平街道22875人，杜别克街道26302人，新城街道20136人，二工镇22666人，喀拉哈巴克乡9492人，恰夏乡10175人，阿西尔达斡尔民族乡7833人，阿不都拉乡6843人，也门勒乡7632人，恰合吉牧场2237人，博孜达克农场4447人，窝依加依劳牧场4044人，地区种牛场1916人，兵团农九师一六三团8614人，兵团农九师一六四团5825人。
2012年，撤销恰夏乡，设立恰夏镇（新政函[2012]91号）。调整后，全市辖3个街道、2个镇、4个乡（其中1个民族乡）：和平街道、杜别克街道、新城街道、二工镇、恰夏镇、喀拉哈巴克乡、阿西尔达斡尔族乡、阿不都拉乡、也门勒乡。