阜康，意为“物阜民康”，旧名“特讷格尔”。西汉时为卑陆和郁立师国地，东汉属车师后部。北魏属柔然，北周和隋朝属突厥。唐属庭州金满县，《西域地名》考证为唐北庭大都护府之俱六城守捉。元属别失八里，明为瓦剌游牧地，称敦刺城或特纳格尔。清代初期被准噶尔蒙古部落称为尔然则（无城堡之意），后改称特纳格尔（平坦宽广之意）。
清乾隆二十五年（1760年）设阜康堡，驻巡检，二十八年（1763年）筑阜康城，隶安西道。乾隆四十一年（1776年）设阜康县，隶迪化直隶州。1886年隶迪化府，1943年隶迪化专区，1958年隶属昌吉回族自治州。1992年11月3日民政部（民行批[1992]130号）批复同意撤销阜康县，设立阜康市（县级），以原阜康县的行政区域为阜康市的行政区域。
1996年，阜康市辖3个街道、3个镇、3个乡：博峰街道、准东街道、阜新街道、滋泥泉子镇、九运街镇、甘河子镇、城关乡、上户沟哈萨克族乡、三工河哈萨克族乡。市政府驻博峰街道。设有种羊场、小泉牧场、水磨沟牧场。驻有新疆生产建设兵团农六师六运湖农场、土墩子农场、西泉农场和新疆生产建设兵团直属222团阜北农场及自治区天池试验林场。
1999年，撤销城关乡，设立城关镇。
2000年第五次人口普查，阜康市常住总人口152965人，其中：博峰街街道14970人、阜新街街道10880人、准东街道16651人、甘河子镇8222人、城关镇20977人、九运街镇16818人、滋泥泉子镇15239人、三工河哈萨克民族乡4207人、上户沟哈萨克民族乡6153人、水磨沟乡3835人、有色公司4777人、兵团大黄山煤矿3071人、种羊场1510人、小泉牧场1470人、五宫煤矿1323人、兵团土墩子农场4699人、兵团六运湖农场6593人、兵团222团农场11570人。
2003年，阜康市总面积8844.85平方千米，总人口157266人。辖3个街道、4个镇、3个乡：博峰街街道、阜新街街道、准东街道、甘河子镇、滋泥泉子镇、城关镇、九运街镇、水磨沟乡、上户沟哈萨克族乡、三工河哈萨克族乡。市政府驻市区博峰街。
2010年第六次人口普查，阜康市常住总人口165006人，其中：博峰街街道34292人，阜新街街道16124人，准东街道16234人，甘河子镇9352人，城关镇18631人，九运街镇14415人，滋泥泉子镇13782人，三工河哈萨克民族乡3926人，上户沟哈萨克民族乡9695人，水磨沟乡4672人，兵团大黄山煤矿4347人，兵团农六师土墩子农场5120人，兵团六运湖农场5672人，兵团二二二团农场8744人。