清初属封禁围场，康熙五十三年（1714）属珲春协领。原名灰幕洞。1933年敦图铁路开通后，几无人烟的“艾蒿甸子”人口骤增，变成了一个城镇。1933年6月，“艾蒿甸子”改称图们，隶属延吉县。此名取天图们江，“图们”为满语音译，意为“河流众多”“万水之源”。
1946年3月，成立延吉县图们街政府，下设中山、中央、中华、新民、光荣、长安、和平、铁路、市场9个乡。1948年7月设立图们市，为延吉县辖市（区级市）。1949年9月，图们市政府更名为图们市人民政府。1950年9月，图们市设中山、建华、新华、中央、新民、德新、新兴、铁路、工农、农安等10个街和和平、合成（集中）、五工3个村。1954年1月，经吉林省人民政府批准，将原街政府改为街公所。1955年7月，图们市设1、2、3、4街公所和和平、集中、五工3个村。
1956年，延吉县人民委员会将图们市改为图们镇；4月将镇政府更名为镇人民委员会；下设向上、新华、国境、铁路、德兴5个街公所。1958年4月，延吉县人民委员会将图们镇一分为二，设立图们镇与农安乡；9月成立图们镇公社，辖集中、和平、安山、五工、碧水5个管理区。1961年11月，将管理区改为生产大队。1964年11月，将街公所改为街道办事处。
1965年3月27日，经国务院（国议字第9号）批准，设立图们市（县级），以原延吉县的图们镇、汪清县的石砚镇的行政区域为图们市的行政区域，新设立的图们市隶属延边朝鲜族自治州；同时置图们市人民委员会。1968年7月16日改图们市革命委员会，1980年7月23日改图们市人民政府。
1969年7月，将原延吉县的月晴公社和汪清县的新农公社全部行政区域划归图们市。1980年初，图们市辖3个街道、3个公社；36个生产大队、34个居委会，140个生产小队。1982年10月，将延吉县长安公社的碧水大队划归图们市。1983年8月，将图们市所属各公社改为乡。1984年5月，将向上街道春风路以北区域划出设立月宫街道。1984年12月，将石岘街道和新农乡合并为石岘镇。
1988年4月2日，将龙井县长安镇划归图们市管辖。1991年4月29日，经吉林省政府批准，将珲春市凉水镇划归图们市管辖；10月25日，经吉林省政府批准，将图们市石砚镇牡丹村和永昌村的满台城村民小组划归汪清县新兴乡管辖。1994年11月14日，经吉林省政府批准，撤销月晴乡，设立月晴镇。1995年12月，图们市辖3个街道、4个镇、1个乡；61个居委会、62个村委会。
1996年，图们市面积1142平方千米，人口13.9万人。辖3个街道、4个镇、1个乡：向上街道、新华街道、月宫街道、石砚镇、长安镇、凉水镇、月晴镇、红光乡。市政府驻向上街道。
1999年8月25日，吉林省民政厅（吉民行批[1999]2号）批复，经吉林省政府批准，同意对图们市街道办事处管辖范围作如下调整：1．将原向上街道办事处管辖的南山、南宁、春风3个居民委，划归月宫街道办事处管辖。2．将原向上街道办事处管辖的文化、新星、春星3个居民委，划归新华街道办事处管辖。
2000年第五次人口普查，全市总人口132368人，其中：向上街道26741人、新华街道21620人、月官街道24798人、月晴镇4832人、石岘镇23805人、长安镇8327人、凉水镇12959人、红光乡9286人。2002年，图们市辖3个街道、4个镇、1个乡。总人口13.7万人，其中非农业人口10.4万人。
2003年12月15日，吉林省民政厅（吉民行批[2003]11号）批复，经省政府批准，同意撤销图们市红光乡，将其所辖行政区域划归月晴镇管辖，月晴镇政府设在原红光乡政府驻地。2003年末，图们市总面积1142.65平方千米，总人口44158户136025人，其中农业人口28871人，占总人口的21.2%。辖新华街道、向上街道、月宫街道、石岘镇、长安镇、月晴镇、凉水镇，共有47个行政村。
2006年4月14日，吉林省民政厅（吉民行批[2006]4号）批复，经省政府批准，同意对图们市部分镇所辖行政区域作如下调整：（一）将月晴镇所辖碧水村行政区域划归长安镇管辖。（二）将月晴镇所辖水南村、向阳村、下嘎村行政区域划归石岘镇管辖。