“阿勒泰”来源于阿尔泰山。阿尔泰山，史书称之为“金微山”、“金山”。阿尔泰在突厥语和蒙古语里都是“金子”的意思，因此山蕴藏出产丰富的黄金。
公元前三世纪前塞种人驰骋于此地。其后裔为匈奴人、鲜啤人、突厥人等先后统治过这里。秦末汉初，匈奴努力强大，各游牧部族受其辖治。隋唐时期以阿尔泰山为界，本地区成为东西突厥的交界处。646年唐朝灭薛延陀国设燕然都护府治理该地。此后设立的安西大都护府和北庭都护府的辖区都包括现阿勒泰地区的范围。宋辽金时期，阿尔泰山黠戛斯等部都隶于中原王朝。1124年西辽统有本地区南部，西辽还在阿尔泰山一带设置西部招讨司，隶属上京道，并且大力在乌伦古河流域屯垦。蒙元时期本地区先是窝阔台汗国，后为阳翟王部，科布多一带称海宣慰司，其北面是八邻万户和益兰州等部断事官辖地。设省以后本地区属岭北行省。其后又隶属于察合台汗国和别失八里行省。
清朝于1730年前后设立科布多参赞大臣，由乌里雅苏台定边左副将军节制。1904年科布多、阿尔泰分治，设阿尔泰大臣，驻承化寺（今阿勒泰市），辖阿尔泰乌梁海、新土尔扈特、新和硕特三部地。阿尔泰自清朝以来作为特殊区直属中央，辛亥革命后，阿尔泰改设办事长官，直隶中央。1919年6月改设阿山道，阿尔泰正式归于新疆。1933年阿山道改称阿山行政区，设行政长。1945年“三区革命”时，一度成立隶属三区革命临时政府的阿山专属，设专员。1946年改为阿山区行政公署，设督察专员。
1949年12月改称阿山区行政督察专员公署（阿山专区），专署驻承化县。辖承化、富蕴、青河、福海、布尔津、哈巴河、吉木乃等7县。1953年原承化县改称阿泰县。
1954年，阿山专区改称阿勒泰专区，隶属伊犁哈萨克自治州。辖阿勒泰（阿泰县改称阿勒泰县）、青河、富蕴、福海、吉木乃、布尔津、哈巴河等7县，专署驻阿勒泰县。
1979年，阿勒泰专区改称阿勒泰地区，地区驻阿勒泰县，辖阿勒泰、青河、富蕴、福海、吉木乃、布尔津、哈巴河等7县。1984年11月17日，国务院批准撤销阿勒泰县，设立阿勒泰市。
2000年第五次全国人口普查，阿勒泰地区常住总人口561667人。其中：阿勒泰市178510人、布尔津县61633人、富蕴县80986人、福海县77830人、哈巴河县73403人、青河县53843人、吉木乃县35462人。
2003年，全区总面积117989.21平方千米，总人口612628人，有哈萨克、汉、回、维吾尔、蒙古等36个民族。辖1市6县，即：阿勒泰市、布尔津县、哈巴河县、吉木乃县、福海县、富蕴县、青河县，还有新疆生产建设兵团农十师的十个团场和自治区驻阿有关单位。地区行政公署驻阿勒泰市。
2010年第六次人口普查，阿勒泰地区常住总人口603283人，其中：阿勒泰市190064人，布尔津县66758人，富蕴县87886人，福海县81845人，哈巴河县82507人，青河县58858人，吉木乃县35365人。