哈密地名初见于西辽的哈密力，元代又称合迷里、渴密里等。明代作哈密。维吾尔语称“库木勒”，含义来历尚待考证。也有认为哈密一名源自公元前乌孙族王“昆莫”，“昆莫”居住之地则称为“昆莫勒”，意为“像太阳一样的统治者”。一说系古伊朗语，意为“盆地、洼地”。又据《西域词文志》：为“哈勒密勒。之转音，意为“回语”的“瞭望台”。此说恐误。据《辛卯侍行记》：“缠回之称哈密，皆曰哈木尔或呼库木耳。元和志伊州纳职县北有俱密山，是哈密因山得名。……哈木尔，即明初之哈梅里。”一说为早期间尔泰语，意为“大门”，因地处西域大门而命名。
哈密古称“昆莫”，曾为乌孙王昆莫游牧地，后演变为昆吾。汉时称伊吾或伊吾卢，为匈奴呼衍王南部牧地。东汉永平十六年（73年）在今四堡地方置宜禾都尉。东汉建初六年（81年）设伊吾司马。三国时曹魏政权设宜禾伊吾都尉。北魏泰常七年（422年），唐契被柔然政权封为伊吾王。北魏太和十二年（489年），北魏置伊吾郡。隋大业六年（610年），隋设伊吾郡和柔远镇。伊吾郡首府从四堡迁至新伊吾（即今之回城），柔远镇设在今之沁城。
唐贞观四年（630），唐置西伊州。两年后改称伊州，辖伊吾（今哈密）、纳职（今四堡）、柔远（今沁城）二县。唐末转附西汉金山国（为河西汉人张承奉所建）。后又依附于西州回鹘。宋时，州将陈氏家族统治哈密。元时称哈密力，隶甘肃行省。明永乐二年（1404年），诏封元裔安克贴木儿为忠顺王，哈密成为明王朝统治下的一个地方王国。两年后置哈密卫。哈密地方王国从受封至被吐鲁番汗攻占，经11世，凡135年。明末清初，哈密转属叶尔羌汗国。叶尔羌汗国灭亡后，哈密又先后被准噶尔蒙古汗噶尔丹和策妄阿拉布坦势力所控制。清康熙三十五年（1696年）哈密维吾尔族首领额贝都拉摆脱准噶尔统治，归附清朝。清康熙三十六年（1697年），额贝都拉长子郭帕伯克在巴里坤生擒噶尔丹之子及其部属，押送北京。清政府封额贝都拉一等札萨克，颁札萨克印，赐红纛。乾隆二十四年（1759年），设哈密厅。同时派驻钦差办事大臣、协办大臣各一员。
光绪十年（1884年），新疆建省，哈密升为直隶厅。民国二年（1913年），改厅为县，通判改称知事，隶镇迪道。民国二十三年（1934年），哈密县隶属哈密行政区。民国二十四年（1935年），划哈密县天山以北的吐葫芦等6区为伊吾县行政区域。
1949年成立哈密专员公署，驻哈密。1961年，国务院决定以哈密镇为基础成立哈密市（县级）。次年11月奉命撤销，恢复哈密镇建置。
1977年1月，国务院决定恢复哈密市，划哈密镇、城郊公社及回城公社大营门大队、陶家宫公社上阿牙大队、红星三场为市区，面积58平方千米。中共哈密市委、市政府于当年3月组建成立。1978年，中共哈密县委、县政府从老城迁至大营房办公。1983年9月，国务院决定撤销哈密县，政区并入哈密市。1984年5月，撤县并市工作完成。
从1984年末至1985年初，在农村体制改革中，根据“政社分离”的原则，恢复了区、乡、镇、村建制。1994年底，哈密市政府下辖2区、2镇、3个街道、20个乡、43个居委会、112个村委会。1996年，撤销沁城区及所属的小堡乡、芨芨台乡；撤销天山区及其所属的榆树沟乡、板房沟乡；二道沟乡更名为天山乡；恢复设立星星峡镇。
1996年底，哈密市辖3个街道、3个镇、16个乡，103个行政村、54个居委会：东河区街道（14个居委会）、西河区街道（8个居委会）、新市区街道（21个居委会）、雅满苏镇（4个居委会）、七角井镇（5个居委会、1个行政村）、星星峡镇（3个居委会）、城郊乡（9个行政村）、回城乡（5个行政村）、花园乡（9个行政村）、南湖乡（4个行政村）、二堡乡（9个行政村）、五堡乡（12个行政村）、陶家宫乡（12个行政村）、大泉湾乡（4个行政村）、沁城乡（10个行政村）、乌拉台哈萨克民族乡（2个行政村）、双井子乡、天山乡（11个行政村）、白石头乡（4个行政村）、西山乡（5个行政村）、柳树沟乡（4个行政村）、德外里都如克哈萨克民族乡（2个行政村）。