海伦原名（1）苏尔沁咀子（又称索伦箐嘴子），（2）通肯。通肯名称的由来。据《满洲地名考》记载：此地开拓时所管辖的地域很广，便设置了副都统管理此地，由于通肯河旋绕其境，故名。“通肯”是满语，其意，一说为“鼓”之意，另一种解释为“散”之意。海伦地名是於光绪末年裁通肯副都统，设置直隶厅时所启用的名称，其来源，是以城址位于海伦河附近命名。海伦，为“开凌”之音转，满语“水獭”之意。因海伦河中盛产水獭，故名。
海伦一带很早以前本无人居住，故清以前的历史沿革不详，至前清时曾为皇家围场地，禁止百姓采樵游猎，而只有索伦族人可以进入禁地，他们以捕猎为生，水草为居，没有固定的房舍。在此期间，绥化已设通判理旗民事，而此地仍为围场。土人称此地为索伦箐嘴子。先后为呼兰城守尉、呼兰副都统辖地。1885年（光绪十一年），设置绥化厅后，归绥化厅管辖。由于此地草木丰茂，土质青腴，富於农作，所以光绪中叶，黑龙江将军屡次奏请放荒地，但都被驳斥。不但不能放荒，反而更加严厉限制垦荒。
1899年5月4日（光绪二十五年三月二十五日），清廷批准于海伦河北增设通肯副都统，选“棒槌营”（采参人住的窝棚，今海伦镇城北）修筑通肯城【一说，光绪二十三年始设副部统兼辩垦务，大概因通肯河旋绕其境而命名为通肯副都统】。1905年1月29日（光绪三十年十二月二十四日），奏准设置海伦直隶厅。1906年2月15日（光绪三十二年正月二十二日），裁撤通肯副都统。同年8月11日（农历六月二十二日），海伦直隶厅署移驻原通肯副都统府第办公。1908年8月5日（光绪三十四年七月初九日），将海伦直隶厅改设海伦府，驻通肯城。隶属黑龙江行省，领青冈、拜泉2县。
中华民国成立后，根据黑龙江省都督府1913年1月23日令，将海伦府改为海伦县。初由黑龙江省直辖，1914年6月隶属绥兰道。1915年5月，将通北稽垦局辖区划出设置通北设治局。1916年春（一说为1917年1月），将海伦县南部地区划出设置望奎设治局。1929年2月，废道，由黑龙江省直辖，时为一等县。东北沦陷后，初隶黑龙江省，1934年12月划归滨江省管辖。1939年6月，划归新设之北安省管辖。1945年“九三”抗日战争胜利后，划归黑龙江省管辖。1946年10月，以海伦县西南部地区与拜泉县划出的部分区域合并设置通肯县。
1947年2月至9月，海伦县隶属黑嫩联合省第一专区，黑嫩联合省分设后，仍由黑龙江省管辖。1948年9月，撤销通肯县，原属海伦县的行政区域仍划回海伦县。1954年8月，松、黑两省合并后，由黑龙江省直辖。1956年3月，将海伦县划归绥化专区管辖。1958年8月改由松花江专区管辖。1965年6月属绥化专区。1989年12月23日，国务院批准，撤销海伦县，设立海伦市（县级），以海伦县的行政区域为海伦市的行政区域，仍隶绥化地区。1990年1月11日，正式撤县设市。
1985年，海伦县辖7个镇、22个乡，10个街道，360个村，1667个村民小组，1255个自然屯，6个农牧场，6个林场。海伦镇为县政府驻地。全县总户数为164418户，人口为799838人。境内民族99.5%是汉族，还有朝鲜族、回族、满族、蒙古族、土家族、达翰尔族、鄂伦春族、锡伯族、黎族、彝族等。
1992年末，海伦市位于黑龙江省中部，是由小兴安岭山地向松嫩平原的过渡地带。东与绥棱县为邻，南与绥化市、望奎县接壤，西以通肯河与青冈、明水、拜泉县分界，北与北安市毗连。总面积4551平方千米。总人口78.67万人，其中非农业人口13.7万人，占17.4%；满、回、朝鲜、蒙古等少数民族人口占3.3%。辖7个镇、22个乡：海伦镇、海北镇、伦河镇、东风镇、共合镇、海兴镇、祥富镇、海南乡、乐业乡、南兴乡、东方红乡、护林乡、双录乡、扎音河乡、爱国乡、长发乡、向荣乡、爱民乡、联发乡、永和乡，等。市政府驻海伦镇。
2000年第五次人口普查，海伦市总人口720008人，其中：海伦镇108787人，海北镇27823人，伦河镇31979人，东风镇15669人，祥富镇25790人，海兴镇28022人，共合镇29688人，建城乡7953人，同心乡14883人，前进乡16600人，向荣乡24450人，长发乡17978人，东方红乡19026人，护林乡11957人，南兴乡11971人，海南乡20316人，共荣乡25553人，乐业乡17279人，福民乡20811人，丰山乡24449人，永富乡21694人，新兴乡15763人，百祥乡16882人，联发乡21080人，永和乡29241人，爱民乡23754人，爱国乡20049人，扎音河乡24057人，双录乡24328人，国有林场3477人，红光农场8842人，海伦农场9857人。
海伦市现辖7个镇、16个乡：海伦镇、东风镇、祥富镇、海兴镇、伦河镇、共合镇、海北镇、前进乡、向荣乡、长发乡、东林乡、海南乡、乐业乡、共荣乡、福民乡、丰山乡、永富乡、百祥乡、联发乡、永合乡、爱民乡、扎音河乡、双录乡。共362个行政村，1753个村民小组。