吉木萨尔，蒙语意为“沙砾滩河”。另有一说，“吉木”系唐代在此所设“金满”县的译音，“萨尔”为突厥语“城”之意。吉木萨尔是汉唐到元代天山以北的政治经济中心，唐代以后开辟的“丝绸之路”新北道上的重镇、商埠和交通枢纽，古道“唐朝路”至今仍依稀可辨。
汉为车师后的王都。据《后汉书》记载，东汉永平十七年（74年）置西域都护、戊己校尉，屯田车师后王部金满城。西突厥时建可汗浮图城。唐贞观十四年（640年）置庭州并设金满县。长安二年（702年）设置北庭都护府，驻瀚海军。宋辽属高昌回鹘。元代的别失八里屯田兵元帅府、行尚书省、宣慰司均设在这里。《西游录》称别石把，《西游记》作鳖思马；《元史》、《明史》作别失八里，治所在后堡子古城。
明代是瓦剌游牧地。清乾隆三十七年（1772年）筑恺安城，四十一年（1776年）设济木萨县丞，属阜康县。光绪二十年（1894年）改名孚远，二十八年（1902年）置孚远县，隶属迪化府。1943年属迪化专区。1954年恢复原名，改称吉木萨尔县，属乌鲁木齐专区。1958年后隶属昌吉回族自治州。
1996年，吉木萨尔县辖3个镇、6个乡：吉木萨尔镇、三台镇、泉子街镇、北庭乡、二工乡、庆阳湖乡、老台乡、大有乡、新地乡。驻有新疆生产建设兵团107团和红旗农场。
2000年第五次人口普查，吉木萨尔县常住总人口117867人，其中：吉木萨尔镇29945人、三台镇12019人、泉子街镇10133人、二工乡 9889人、北庭乡6958人、庆阳湖乡7655人、老台乡8269人、大有乡14099人、新地乡4713人、兵团红旗农场11237人、兵团107团2950人。
2003年，全县总面积8169.86平方千米，总人口132577人。辖4镇、5乡：吉木萨尔镇、三台镇、泉子街镇、北庭镇、二工乡、老台乡、庆阳湖乡、新地乡、大有乡。县政府驻吉木萨尔镇。
2010年第六次人口普查，吉木萨尔县常住总人口113284人，其中：吉木萨尔镇35142人，三台镇9273人，泉子街镇7922人，北庭镇6363人，二工乡11556人，庆阳湖乡6392人，老台乡7216人，大有乡10684人，新地乡4726人，五彩湾工业园区2466人，兵团农六师红旗农场11544人。
2010年，自治区政府（新政函[2010]223号）批复同意撤销二工乡，设立二工镇（9月25日正式撤乡设镇）。2012年，自治区政府（新政函[2012]205号）批复同意撤销大有乡，设立大有镇（10月16日正式撤乡设镇）。调整后，全县辖6个镇、3个乡：吉木萨尔镇、三台镇、泉子街镇、北庭镇、二工镇、大有镇、庆阳湖乡、老台乡、新地乡。