海林市原名海林县，系由新海、五林二县合并时，各取原县名称的后一个字而得名。清代，属宁古塔副都统辖区。清末民初，先后隶属宁安府和宁安县管辖。1945年“九三”抗日战争胜利后，1946年8月15日，将宁安县北部新安镇、海林、横道河子、山市等地区划出，设置新海县，县政府驻海林。初隶绥宁省，后改隶牡丹江专区、牡丹江省，再改隶松江省。1948年10月4日，松江省政府决定，将五林县与新海县合并为海林县，县政府驻牡丹江市内，由松江省直辖。1954年8月，松、黑两省合并后，由黑龙江省直辖。
1956年3月6日，国务院决定，撤销海林县，将原海林县所属区域分别划归宁安县、林口县和牡丹江市。1962年10月20日，国务院决定，恢复海林县，将原海林县划给宁安县的海林、横道河子、长汀、海南、石河、新安、旧街7个乡镇和原海林县划给林口县的柴河、二道河子、三道河子3个乡镇划为海林县的行政区域。县人民委员会驻海林镇，隶属牡丹江专区管辖。1983年9月3日，牡丹江地区撤销后，划归牡丹江市领导。1992年7月28日，国务院批准，撤销海林县，设立海林市（县级）。由牡丹江市代管。
1992年末，海林市位于黑龙江省东南部，张广才岭主脉东侧。是黑龙江省主要林业基地之一。市境西以张广才岭主脉与五常县、尚志市分界，北与方正县、林口县毗连，东与林口县、牡丹江市接壤，南与宁安县为邻，西南与吉林省敦化市以分水岭为界。全市总面积9570平方千米。总人口44.6万人，其中非农业人口23.6万人，占总人口的52.9%；满、朝鲜、回族等少数民族人口3.9万人，占总人口的12.2%。辖7镇、5乡。市政府驻地海林镇。（以上摘自《黑龙江省志·地名录》，有改动）
1996年，海林市面积9877.8平方千米，人口约43.5万人。辖7镇、5乡：海林镇、长汀镇、柴河镇、横道河子镇、山市镇、二道河子镇、新安朝鲜族镇、旧街乡、石河乡、新合乡、三道河子乡、海南朝鲜族乡。市政府驻海林镇。
2000年第五次人口普查，海林市常住总人口435677人，其中，海林镇103511人，长汀镇16118人，横道河子镇18980人，山市镇19932人，柴河镇26281人，二道河镇14285人，新安朝鲜族镇18909人，三道河子镇10666人，旧街乡16424人，石河乡12954人，新合乡27767人，海南朝鲜族乡18792人，海林农场7742人，山市种奶牛场6868人，大海林林业局43479人，海林林业局17873人，柴河林业局55096人。
2001年乡镇区域化调整，旧街乡合并到长汀镇。
2005年，海林市辖8个镇、1个乡：海林镇、长汀镇、横道镇、山市镇、柴河镇、二道镇、新安朝鲜族镇、三道镇、海南朝鲜族乡。境内还有大海林林业局、海林林业局、柴河林业局等。
2009年，《黑龙江省民政厅关于调整牡丹江市部分行政区划的批复》（黑民区[2009]121号）：同意将海林市所辖的海南朝鲜族乡整建制划归牡丹江市西安区管辖（2010年5月19日正式实施）。
2010年第六次人口普查，海林市常住总人口400859人，其中，海林镇144443人，长汀镇31215人，横道镇16241人，山市镇21328人，柴河镇24688人，二道镇12316人，新安朝鲜族镇19025人，三道镇9629人，牡林工程公司街道4048人，柴河林机厂街道2514人，大海林林业局32748人，海林林业局18310人，柴河林业局50503人，海林农场7421人，山市种奶牛场6430人。