原名“珠河”，以其境内乌珠河（今乌吉密河）命名。后为纪念抗日联军将领赵尚志，将珠河县改为尚志县。原苇河县以其治所濒临苇沙河口而得名。《满洲地名考》载，“苇沙河产苇子，并且两岸有砂石，名曰苇沙河”。
清初为宁古塔将军辖境，乾隆朝后属阿勒楚喀副都统管辖。光绪年前期隶属宾州厅；光绪二十九年（1903年）划归长寿县管辖，并于一面坡设置分防巡检。中东铁路修筑后，于此地设置乌吉密站。1914年将长寿县更名为同宾县。1916年同宾、五常两县勘放官荒，在同宾县一面坡设有“同五放荒处”。1918年冬，放荒基本结束，“同五放荒处”撤销。1922年析同宾县、五常县境设乌珠河设治局和苇沙河设治局，1927年改设珠河县和苇河县，均为三等县，属吉林省滨江道。1929年2月，撤销道制，由吉林省直辖。东北沦陷后，初隶吉林省，1934年12月划归滨江省管辖。1938年末（一说5月），将双城县第九区（帽儿山）划归珠河县管辖。
抗日战争胜利后，珠河、苇河两县改属松江省管辖。1947年为纪念抗日民族英雄赵尚志，将珠河县更名为尚志县。1948年，撤销苇河县，并入尚志县。1954年8月属黑龙江省辖，1956年3月划归牡丹江专区，1970年4月划归松花江地区。1988年撤销尚志县，设置尚志市（县级）。1996年撤松花江地区，尚志市由哈尔滨市代管。
1949年，全县分为16个区、21个街、184个行政村。1950年12月4日，除城关区外地名区称改为番号区称，即第二区（乌吉密）、第三区（帽儿山）、第四区（亮珠）、第五区（黑龙宫）、第六区（长寿）、第七区（河东）、第八区（元宝）、第九区（马延）、第十区（一面坡）、第十一区（老街基）、第十二区（苇河）、第十三区（亚布力）、第十四区（石头河子）、第十五区（亮河）、第十六区（庆阳）。
1953年5月7日，五常县德胜屯、永胜屯划归第二区（乌吉密）三股流村。1953年11月14日，延寿县二甲村、太平村划归第八区（元宝）。1954年2月19日，将第七区改为河东朝鲜民族区。1955年5月30日，将番号区称改为地名区称。1956年5月23日，将16个区划为38个乡镇，包括两个县辖镇（尚志、一面坡）、两个乡级镇（苇河、亚布力）、34个乡（其中包括河东、新兴两个朝鲜民族乡）。
1958年，景阳、中阳、正阳3乡并入亚布力镇，新民、冲河2乡并入苇河镇，九江乡并入一面坡镇，福山乡并入老街基乡，固安乡并入马延乡，团结乡并入黑龙宫乡，建设乡并入永庆乡，胜利乡并入五星乡，三阳乡并入联合乡，开道与新兴2乡合并为兴开乡。1958年7月，撤永庆、亮珠、小九、联合、蜜蜂、东安、兴开、青云、五星9乡，全县调整为15个乡镇，即尚志、帽儿山、乌吉密、长寿、黑龙宫、河东、元宝、马延、一面坡、老街基、苇河、亚布力、石头河子、亮河、庆阳。
1958年秋，全县实现人民公社化，全县成立一个联社；15个乡镇改为15个分社，后改为公社。1961年，新增亮珠、三阳、杨店、冲河、蜜蜂5个公社。1964年，杨店公社并入元宝公社，蜜蜂公社并入帽儿山公社。1975年，新增新光、鱼池2个公社。1980年全县有5个镇、15个公社。1982年，冲河公社改为珍珠山公社。
1984年改公社为乡，全县共有5镇15乡。1985年，亮河、黑龙宫、元宝、石头河子4乡改为镇，同时由帽儿山镇分设蜜蜂乡，由一面坡镇分设万山乡，恢复河东乡为朝鲜族乡，全县共有9镇13乡。1988年庆阳撤乡建镇。
1992年末，尚志市位于黑龙江省东南部，张广才岭西麓。东界海林市，南与五常县接壤，西邻阿城市，北与宾县、延寿和方正县毗连。全市总面积8910平方千米。总人口57.9万人，其中非农业人口22万人；满、朝鲜、回、蒙古等少数民族人口约占6%。共辖10个镇、12个乡，其中朝鲜民族乡2个：尚志镇、一面坡镇、苇河镇、亚布力镇、帽儿山镇、亮河镇、黑龙宫镇、元宝镇、石头河子镇、庆阳镇、乌吉密乡、亮珠乡、马延乡、长寿乡、三阳乡、老街基乡、珍珠山乡、蜜蜂乡、新光乡、万山乡、河东朝鲜族乡、鱼池朝鲜族乡。市政府驻尚志镇。
2000年第五次全国人口普查，全市总人口582764人，其中：尚志镇110311人，一面坡镇32963人，苇河镇42408人，亚布力镇33418人，帽儿山镇23285人，黑龙宫镇20386人，元宝镇23248人，石头河子镇16758人，亮河镇24206人，庆阳镇22988人，乌吉密乡10703人，三阳乡11927人，亮珠乡10373人，长寿乡16549人，河东朝鲜族乡13945人，马延乡20292人，老街基乡18252人，珍珠山乡14474人，新光乡13033人，鱼池朝鲜族乡11653人，万山乡8619人，蜜蜂乡6557人，苇河林业局40812人，亚布力镇林业局35604人。
2002?年，撤销万山乡并入一面坡镇，撤销新光乡并入亚布力镇，撤销蜜蜂乡并入帽儿山镇，撤销亮珠乡并入长寿乡，撤销三阳乡并入乌吉密乡。调整后，尚志市辖10个镇、5个乡、2个民族乡：尚志镇、亚布力镇、苇河镇、一面坡镇、帽儿山镇、庆阳镇、亮河镇、石头河子镇、元宝镇、黑龙宫镇、珍珠山乡、老街基乡、马延乡、长寿乡、乌吉密乡、河东朝鲜族乡、鱼池朝鲜族乡。共有340个行政村。
2006年，尚志市面积8900平方千米，总人口610681人。辖10个镇、7个乡：尚志镇、一面坡镇、苇河镇、亚布力镇、帽儿山镇、亮河镇、庆阳镇、石头河子镇、元宝镇、黑龙宫镇、长寿乡、乌吉密乡、鱼池朝鲜族乡、珍珠山乡、老街基乡、马延乡、河东朝鲜族乡。共有162个行政村。