春秋属南越；战国入楚称百越、秦至汉初，汕尾全境均属南海郡博罗县地域。汉元鼎六年（前111年）汉平南越，始置海丰县，隶属东官郡，辖地包括现汕尾市全境及惠来、普宁、揭西之部分地区。隋开皇十一年（591年），东官郡与梁化郡等并置为循州，海丰县改属循州。唐武德五年（622年），析海丰且东部置安陆县，安陆县治设在大安屯（今陆丰大安镇辖地），辖今之陆丰市、陆河县及惠来、普宁、揭西之一部，至贞观元年（627年），又废安陆县，并复海丰县，仍隶属循州。
五代十国时期，循州改为祯州，汕尾随属祯州。宋开宝四年（971年）设广南东路祯州，天禧五年（1021年），因避太子赵祯（后即仁宗）名讳，改祯州为惠州，时海丰、博罗、河源、归善（今惠东）四县均属广南东路惠州。海丰县辖兴贤、金锡、杨安、石塘、石帆、吉康、坊廓、龙溪等8都。元代，汕尾地区属江西行中书省广东道惠州路；明代属广东布政使司惠州府；清代属广东省惠州府。
清雍正九年（1731年），析海丰县东部之石帆、坊廓、吉康三都置陆丰县。县治在东海（今陆丰东海镇），海丰、陆丰两县同属惠州府。民国初年，隶属广东省潮循，民国19年（1930年），隶属广东省第4行政督察区。中华人民共和国成立后，海丰、陆丰均属粤东江专员公署管辖；1953年改属东行政公署；1957年隶属惠阳专员公署；1958年12月划归汕头地区专员公署；1983年9月，又归属惠阳地区专署管辖。
1988年1月，经国务院批准，在原海丰、陆丰两县的行政区域上设置地级汕尾市，并析海丰县南部沿海的汕尾、红草、马宫、东涌、田乾、捷胜、遮浪7镇建置汕尾市城区；设陆丰县北部山区的河田、河口、新田、螺溪、水唇、上护、南万、东坑等8个镇设置陆河县。
1992年底，市城区划出田乾镇、遮浪镇，新建红海湾经济开发试验区，为市政府派出机构。1995年，经国务院批准，陆丰撤县建市（县级市），由广东省直辖，委托汕尾市代管。；同年，将原陆丰所辖华侨农场改为华侨管理区。以上两区属，为市政府派出机构。
2000年第五次全国人口普查，汕尾市总人口2453479人，其中：城区409677人、海丰县649412人、陆河县229633人、陆丰市1164767人。
2002年，汕尾市辖1个市辖区、2个县，代管1个县级市；6个街道、47个镇、2个乡，133个居委会、711个村委会。2005年底，汕尾市辖1个市辖区、2个县，代管1个县级市；10个街道、42个镇。2007年底，汕尾市辖1个市辖区、2个县，代管1个县级市；10个街道、42个镇。2011年底，汕尾市辖1个市辖区、2个县，代管1个县级市；10个街道、44个镇。