佳木斯，清康熙年间晚期写作“甲母克寺噶珊”，后汉译“嘉木寺”、“贾木司”、“佳木斯”。“佳木斯”一词，一说赫哲语，意为“骨头”或“尸体”；一说满语，“驿丞”或“站官”之意。周属肃慎，汉晋属挹娄，南北朝属勿吉，隋唐属靺鞨，辽属五国部，金属胡里改路，元属水达达路，明属奴儿干都司，清属吉林将军三姓副都统辖区。1888年（清光绪十四年），于今市内永红区丈放“东兴镇街基”，1895年（光绪二十一年广商户渐开”。1906年（光绪三十二年）设置依兰府，归依兰府管辖。1910年3月1日（宣统二年正月二十日）正式设置桦川县，改隶桦川县管辖。桦川县署驻东兴镇。
中华民国成立后，1912年11月，桦川县署迁驻悦来镇。1930年佳木斯屯与东兴镇合并，定名为“佳木斯镇”，隶属桦川县管辖。东北沦陷后，1934年12月1日，伪满新设三江省，伪省公署驻佳木斯。同时，伪桦川县公署移驻佳木斯镇。1937年6月27日，伪满决定，调整行政区划，设置佳木斯市，9月成立佳木斯市制筹备处，12月1日正式成立伪佳木斯市公署，由三江省管辖。1942年全市人口达到11.6万人。
1945年“九三”抗日战争胜利后，同年10月下旬，在中国共产党领导下，在佳木斯成立三江地区行政公署；11月21日，撤销三江地区，设置合江省，省政府驻佳木斯市。1946年将市郊纯农村部分村屯划归桦川县管辖。1949年5月，撤销合江省并入松江省，由松江省直辖。1952年1月，将桦川县的耿家、模范、双合、四丰、中兴5个村划归佳木斯市管辖。同年全市分设4个区。1954年8月，松、黑两省合并后，由黑龙江省直辖。1956年3月，将与市郊周围毗连的桦川县太平山、三家子、新华、靠山、蒙古力、新民6个村划归佳木斯市管辖。同年3月，桦川县人民委员会由佳木斯移驻湖南营镇。
1956年夏，撤销市辖区，分设街道办事处。1957年11月，将桦川县的黑通、西格木、永安、大来岗、裕太、兴华6个乡和四合山乡花园屯划归佳木斯市管辖。1958年1月，全市人口超过20万人，恢复市辖区，分设长安、三合、和平3个城市区和1个郊区。同年8月，佳木斯市划归合江专区代管。1959年3月，将桦川县的悦来、新城、星火3个公社划归佳木斯市管辖。1961年1月，增设佳东区。同年3月，撤销郊区。1964年8月，为缩小城市郊区，将郊区的大来、永安、西格木、悦来、建国、星火、拉拉街、苏家店、中伏、梨树、新城11个公社划归桦川县管辖，但西部的大来、永安、西格木3个公社因距桦川县城较远，不便领导，仍由佳木斯市代管。
1966年2月，佳木斯市改由省直辖。1968年4月，划归合江地区管辖。同年，将长安、三合、和平、佳东4个区分别更名为向阳、永红、前进、东风区；将大来、永安、西格木3个公社移交桦川县管辖。1972年恢复设立郊区，全市共辖5个区。1978年12月，将桦川县的大来、永安、西格木3个公社划归佳木斯市管辖。1982年8月，将依兰县的高峰、桦南县的陡沟子和桦川县的顺山堡等6个生产大队划归佳木斯市管辖。1983年11月1日，佳木斯市改由省直辖。
1984年12月15日，国务院批准，撤销合江地区，实行地市合并，将其原辖的依兰、汤原、桦南、桦川、萝北、绥滨、富锦、集贤、宝清、饶河、同江、抚远、友谊13县，于1985年1月1日正式划归佳木斯市领导。1987年2月，同江撤县设市，由佳木斯市代管。同年11月，将佳木斯市所属的萝北、绥滨两县划归鹤岗市领导；将集贤县划归双鸭山市领导。1988年8月，富锦撤县设市，由佳木斯市代管。1991年4月1日，将佳木斯市所属的依兰县划归哈尔滨市领导；将宝清、友谊两县划归双鸭山市领导。至此，佳木斯市共辖5区、5县，代管两个县级市。
1992年末，佳木斯市（不含辖县，下同）位于黑龙江省东北部，濒临松花江南岸，是三江平原的中心城市。东与桦川县为邻，南与桦南县、依兰县接壤，西、北与汤原县隔江相望。全市辖向阳、前进、永红、东风、郊区5个区，总面积1094平方千米，其中城区面积42.7平方千米。总人口64.8万人，其中非农业人口50.9万人；满、朝鲜、回、蒙古等少数民族人口约占总人口的4%。市政府驻地前进区。（以上摘自《黑龙江省志·地名录》，有改动）
1993年7月5日，国务院批准将佳木斯市的饶河县划归双鸭山市管辖。2000年第五次人口普查，佳木斯市总人口2358310人。其中：永红区175624人、向阳区113414人、前进区155331人、东风区109587人、郊区305988人、桦南县421901人、桦川县185412人、汤原县228405人、抚远县77474人、同江市164595人、富锦市420579人。
2003年末，全市总面积3.27万平方千米。总人口244.7万人，其中市区人口82万人；非农业人口115.3万人，占总人口比重47.1%。全市共有42个少数民族，人口103807人，占全市总人口的4.4%，其中蒙古族、回族、朝鲜族、满族、赫哲族人口分别为4007人、6457人、26558人、62587人、2668人，其余37个少数民族人口均在千人以下。
2004年，经省政府同意，佳木斯市对市辖区行政区域进行部分调整：将郊区的松江乡整建制划归东风区管辖；将东风区佳南办事处的红霞、三江、宏达、双合四个社区划归前进区管辖；将郊区四丰乡的南岗村整建制划归前进区管辖；将永红区的建设街道、长安街道、友谊街道的西站、北铁西、南铁西三个社区和郊区长青街道的江南社区、万发社区、长青乡的长青村，四丰街道的和平社区、四丰乡的新丰村划归向阳区管辖。同年，将郊区的建国乡整建制划归东风区管辖。
2006年7月27日，《国务院关于同意黑龙江省调整佳木斯市部分行政区划的批复》（国函[2006]63号）：同意撤销佳木斯市永红区，将其所辖行政区域划归佳木斯市郊区管辖。郊区人民政府驻友谊路。调整后，佳木斯市辖4个市辖区、4个县，代管2个县级市。
合江地区 1954年6月19日，中央人民政府决定，松江省与黑龙江省合并为黑龙江省。由于新的黑龙江省管辖区域扩大，为加强对边远地区市县的领导，根据同年7月21日东北行政委员会《关于贯彻中央人民政府〈关于撤销大区一级行政机构和合并若干省市建制的决定〉的实施方案》规定，在两省合并的同时，在省境东北部设立合江专区，管辖依兰、汤原、桦南、勃利、集贤、桦川、富锦、宝清、饶河、萝北、抚远11县。合江专员公署驻佳木斯市。1956年3月，撤销桦南县，并入桦川县。1958年8月，将省直辖的佳木斯、鹤岗、双鸭山3市划归合江专区管辖。是时，全专区共辖3市、10县。
1960年1月，将饶河县与虎林县合并为虎饶县，划归牡丹江专区管辖。同年4月，撤销集贤县，设置友谊县。1962年10月，撤销友谊县，恢复集贤县；11月，将牡丹江专区所属的虎饶县划归合江专区管辖。1963年12月，以富锦县江北绥滨地区设置绥滨县。1964年6月，撤销虎饶县，恢复虎林县和饶河县；恢复桦南县。同年12月，恢复友谊县。1965年5月，以勃利县七台河镇设置七台河特区（县级），由合江专区管辖。同年8月，以抚远县西部地区设置同江县，由合江专区管辖。至此，合江专区共辖佳木斯、鹤岗、双鸭山3市，依兰、汤原、桦南、勃利、集贤、桦川、富锦、宝清、虎林、饶河、萝北、绥滨、同江、抚远、友谊15县和七台河特区，是全省管辖市、县最多的一个专区。
1966年2月，将佳木斯、鹤岗、双鸭山3市改由省直辖。1967年9月，经省革命委员会批准，成立合江地区革命委员会，合江专员公署正式撤销，合江专区遂改为合江地区。地区革委会驻佳木斯市，仍辖原合江专区的15县、1特区。1968年4月，将省直辖的佳木斯市划归合江地区管辖。1970年4月，撤销七台河特区，设置七台河市（县级）；将虎林县划归牡丹江地区管辖。1973年8月，撤销友谊县，并入集贤县。1979年2月，根据新《宪法》的规定，将合江地区革命委员会改为合江地区行政公署，“由实变虚”，为省政府的派出机关。合江地区行政公署驻佳木斯市。
1983年10月，七台河市升格为地级市，改由省直辖，并将勃利县划归七台河市领导；将佳木斯改由省直辖。是时，合江地区尚辖12县。1984年12月15日，国务院批准，撤销合江地区，与佳木斯市实行地市合并，将原由合江地区管辖的依兰、汤原、桦南、桦川、集贤、富锦、宝清、萝北、绥滨、同江、饶河、抚远12县及新恢复的友谊县全部划归佳木斯市领导。省委、省政府决定，佳木斯市地市合并的新体制从1985年1月1日起实行。（以上摘自《黑龙江省志·地名录》，有改动）
2004年3月1日，《黑龙江省民政厅关于对佳木斯市辖区部分行政区域调整请示的批复》（黑民区[2004]13号）：
1．同意将郊区的松江乡整建制划归东风区管辖；将东风区佳南办事处的红霞、三江、宏达、双合四个社区划归前进区管辖。将郊区四丰乡的南岗村整建制划归前进区管辖。调整后，东风区与前进区行政区域界线为：北起松花江南岸，沿杏林路向南至安庆街至同三公路止。
2．同意将永红区的建设街道办事处、长安街道办事处、友谊街道办事处的西站、北铁西、南铁西三个社区和郊区长青街道办事处的江南社区、万发社区、长青乡的长青村，四丰街道办事处的和平社区、四丰乡的新丰村划归向阳区管辖。调整后，永红区与向阳区的行政区域界线为：北起松花江南岸，沿红旗街向南至光复路，沿路向西万新街，沿街向南至同三公路止。
调整后，东风区辖5个街道办事处，1个乡。前进区辖5个街道办事处。向阳区辖6个街道办事处。永红区辖3个街道办事处。郊区辖4个街道办事处，12个乡镇。
2004年5月9日，《黑龙江省民政厅关于对佳木斯市辖区部分行政区划调整请示的批复》（黑民区[2004]42号）：同意将佳木斯市郊区的建国乡，整建制划归佳木斯市东风区管辖。