现在的天山区，就是清代迪化城与新满城以及城厢的旧址。西汉属劫国、卑陆国地，东汉初属车师六国，三国属车师后部，唐贞观十四年（640）属庭州，武后时属北庭大都护府，宋代属西辽，元代属别失八里，明属瓦剌和硕特部，后为准噶尔部之库木诺雅特游牧地。清乾隆二十三年（1758）在今南门外修筑土城一座，乾隆二十八年（1763）扩建为迪化城。
乾隆三十八年（1773）属迪化直隶州。光绪十二年（1886）属迪化府，民国二年（1913）属迪化县。民国34年（1945）属迪化市。民国35年（1946）为迪化市一、二、三、四、五区。1953年为乌鲁木齐市一、二、三、四、五区。1957年，一、四、五区合并成立天山区，二、三区合并成立多斯鲁克（维语，意为友谊）区。1960年，撤销多斯鲁克区，将所辖地段并入天山区。
1996年，天山区辖12个街道：幸福路街道、团结路街道、新华南路街道、乌拉泊街道、胜利路街道、燕尔窝街道、东门街道、解放南路街道、解放北路街道、和平路街道、青年路街道、新华北路街道。
2000年第五次人口普查，天山区常住总人口471432人，其中：乌拉泊街道11265人、燕尔窝街道 23427人、胜利路街道60091人、团结路街道42698人、解放南路街道 23077人、新华南路街道 29852人、和平路街道47645人、解放北路街道31774人、幸福路街道45904人、东门街道32377人、新华北路街道 29722人、青年路街道34117人、碱泉街虚拟街道43389人、延安路虚拟街道10352人、盐湖化工厂4236人、柴窝堡林场1506人。
2001年，天山区辖14个街道、1个乡：解放北路街道、新华北路街道、胜利路街道、解放南路街道、幸福路街道、和平路街道、青年路街道、新华南路街道、燕儿窝街道、乌拉泊街道、东门街道、团结路街道、延安路街道、碱泉街道、大湾乡。
2002年3月9日，国务院（国函[2002]20号）批准将天山区的乌拉泊街道划归乌鲁木齐市南泉区（同时更名为达坂城区）管辖。
2003年末，天山区总面积171平方千米，总人口487544人。辖13个街道、1个乡：燕儿窝街道、胜利路街道、团结路街道、解放南路街道、和平路街道、解放北路街道、东门街道、新华北路街道、新华南路街道、青年路街道、幸福路街道、碱泉街道、延安路街道、大湾乡。共有124个居委会、5个行政村。区政府驻东环路8号。
2004年末，天山区辖13个街道、1个乡：燕尔窝街道、新华南路街道、新华北路街道、团结路街道、青年路街道、东门街道、和平路街道、幸福路街道、胜利路街道、解放南路街道、解放北路街道、碱泉街道、延安路街道、大湾乡。共有130个社区、1个行政村。
2010年第六次人口普查，天山区常住总人口696277人，其中：燕儿窝街道21806人，胜利路街道59965人，团结路街道71514人，解放南路街道23976人，新华南路街道35464人，和平路街道31220人，解放北路街道24348人，幸福路街道65294人，东门街道39249人，新华北路街道29022人，青年路街道43367人，碱泉街道73446人，延安路街道35770人，红雁街道8142人，黑甲山片区43155人，二道桥片区29875人，赛马场片区34372人，大湾片区26292人。
2013年，乌鲁木齐市政府（乌民发[2013]142号）批准同意天山区设立南草滩街道。调整后，全区辖15个街道。