上饶之名得于“山郁珍奇”，素称富饶之地。古属扬州，春秋战国时期为吴越楚之地。秦属九江、会稽、丹阳3郡（今玉山、铅山县部分属会稽郡，今婺源县属鄣郡），大部分属九江郡番阳、余汗两县，小部分分属鄣郡歙县，闽中郡东冶县，会稽郡太末县。西汉为豫章、会稽、丹阳3郡（玉山、铅山县归属同秦，婺源改属丹阳郡）。高祖四年（公元前203年） 改九江郡为淮南国。六年，分淮南国置豫章郡。原属九江郡之番阳、余汗两县改属豫章郡。不久，改番阳为鄱阳。后割出余汗县兹乡西北部，增置鄡阳县（东晋后，鄡阳县境逐渐沦于鄱阳湖）。
新莽始建国元年（公元9年） 改余汗县为治干县。东汉建武元年（25年） 将治干县恢复余汗县名，属豫章郡。光和元年（178年） 割出余汗之乐安乡地，在银城设置乐安县（唐代改为乐平县）。建安十五年（210年），析豫章郡地设置鄱阳郡。余汗县由豫章郡改属鄱阳郡，原分鄱阳、余汗两县地所置上饶、葛阳等县也改属鄱阳郡。是年始建葛阳县（今弋阳），县治赭亭，地处葛溪之北，故名葛阳县，属鄱阳郡。三国吴属鄱阳、会稽、新都3郡。晋属鄱阳、新安、信安、建安4郡。
隋开皇九年改鄱阳郡为饶州，后罢饶州复鄱阳郡。唐武德五年改鄱阳郡为饶州，是域属饶州、衢州、歙州。乾元元年析饶州之弋阳、衢州之常山、玉山3县置信州，是域属饶州、信州、歙州，隶江南东、西2道。宋主属信州上饶郡、饶州鄱阳郡，隶江南东路。元主属信州路、饶州路及铅山州，隶江浙行中书省。明洪武九年分江西为五道，是域主属九江道饶州府、湖东道广信府。清沿明制。民国初主属豫章道、浔阳道。1932年分属江西第四、第六行政区。1935年分属江西省第五、六行政区。
1949年属上饶、乐平2专区，辖景德镇市和上饶、弋阳、横峰、铅山、余江、广丰、东乡、玉山、贵溪、乐平、德兴、鄱阳、万年、余干、婺源、浮梁16县。1950年乐平专区更名为浮梁专区，上饶专区增设县级上饶市。1952年上饶、浮梁2专区合并设立鹰潭专区，旋改称上饶专区。1953年景德镇市升为地级市，由省直辖。1957年鄱阳县更名为波阳县。1958年浮梁县划归景德镇市。1960年上饶县并入上饶市。1964年恢复上饶县。1968年东乡县划归抚州专区。1970年上饶专区改称上饶地区（一说1971年4月23日）。1983年乐平县划归景德镇市，贵溪、余江2县划归鹰潭市。1990年德兴县改市。
2000年6月23日，国务院批准，撤销上饶地区和县级上饶市，设立地级上饶市。市人民政府驻新设立的信州区；10月18日，地级上饶市正式挂牌成立。2003年12月，波阳县恢复鄱阳县名。
2003年末，全市总人口626.8万人，其中非农业人口114.9万人。2004年末，全市总人口631.0万人，其中非农业人口122.9万人。2005年末，上饶市辖1个市辖区、10个县，代管1个县级市，5个街道、107个镇、112个乡、2个民族乡。
2010年第六次人口普查，上饶市常住总人口6579747人，其中，信州区416219人，上饶县700267人，广丰县752953人，玉山县574369人，铅山县426998人，横峰县184870人，弋阳县353379人，余干县887616人，鄱阳县1296757人，万年县359098人，婺源县334020人，德兴市293201人。
2015年2月16日，《国务院关于同意江西省调整上饶市部分行政区划的批复》（国函[2015]37号）：同意撤销广丰县，设立上饶市广丰区，以原广丰县的行政区域为广丰区的行政区域，广丰区人民政府驻永丰街道府前街1号。
2015年末，上饶市辖2个市辖区、9个县，代管1个县级市，共有21个街道、101个镇、85个乡（其中2个民族乡），446个居委会、2183个村委会。