此地早在周以前为肃慎地；战国时期属貉地；汉时届沙地；后汉、三国时期为扶余奴隶制王国的属地；晋仍之；后魏、北齐时期届勿吉地；暗时属靺鞨黑水部，唐时属黑水靺鞨；辽时为生女真地；金属上京会宁府。元时为或赤厅分地，属合兰府水达达等路；明时属于奴儿干都司统辖；清初为呼兰副都统辖地，乾隆二十七年（1762年）于此地设置崇古尔库站（今三站乡驻地）。
光绪三十一年（1905年）置大通县，治崇古尔库站（今三站），辖境包括今通河和方正两县，隶属干吉林依兰府。光绪三十三年（1907年），东北实行行省制，以松花江为吉林、黑龙江两省的省界，大通县改隶黑龙江省兴东道（绥化府）。宣统元年（1909年），将江南方正泡地方划出，设置方正县。民国元年（1912年）6月，裁撤兴东道，大通县由黑龙江省直辖。
民国三年（1914年）将县治移至岔林河口“县治城基”（今通河镇）；4月，因与甘肃省大通县重名，改名通河县；6月，改隶绥兰道。1929年1月1日划县北部凤山镇置凤山设治局；同年2月，裁撤绥兰道，县、局均由黑龙江省直辖；时为三等县。1933年10月1日改凤山设治局为凤山县，为丁等县。伪满康德元年（1934年）12月1日，两县划归三江省管辖；1939年6月撤销凤山县，将其并入通河县。
1945年“九三”抗日战争胜利后，划归合江省管辖。1946年8月，划归松江省管辖。1954年8月，隶属黑龙江省直辖。1956年3月，划归绥化专区管辖。1958年8月，改隶松花江专区。1960年5月，划归哈尔滨市管辖。1965年6月，划归松花江专区（后改为地区）管辖。1997年1月1日正式划归哈尔滨市管辖。
1946年3月15日，本县下设城区、三站、祥顺、清河、桦树、凤山、富乡、浓河8个区；5月31日，将清河、祥顺两个区合并为清祥区；6月6日，将凤山、桦树两区合并为凤桦区。1947年，改为一区（城区）、二区（桦树）、三区（富乡）、四区（浓河）、五区（三站）、六区（祥顺）、七区（清河）、八区（凤山）8个区。1956年并区划乡，改为通河、乌鸦泡2个镇，凤山、三站、永乐、祥顺、清河、南六方、依山、中兴、西乐、浓河、桦树、蚂螂河、富乡、岔林14个乡。1958年底改设12个公社，下辖136个生产大队，520个生产队。
1977年10月25日，东部涝区设立创业公社；将祥顺公社的大林子、西六方、东六方、新乡、新村、南六方等6个大队划给创业公社。1979年10月16日，创业公社正式建成。洪太公社辖西胜、洪太、宏滨、解放、张家、西乐、厢房7个生产大队；浓河公社辖一、二、三、四、五大队、东风、良种场、民权、东胜、自然、双凤、水田、团结、楞场、新胜、胜利16个生产大队；富乡公社辖临江、永胜、富乡、德胜、民主、红旗、四站、兴旺、德兴、畜牧场、新方向12个大队；岔林公社辖双河、长兴、岔林、林胜、保安、永发、三宝、东升、太和、铧子山10个大队；凤山公社辖船口、万柳、和平、清茶、凤阳、凤山、河西7个大队；蚂螂河公社辖双胜、四马架、红星、金山、宝山、青山、福山、双龙、蚂螂河9个大队；桦树公社辖大兴，福兴、太平、建设、永河、良种场、桦树、东河、金河9个大队；镇郊公社辖火锯、城发、城东、城西、城乡、新安、胜利、新民、中兴、跃进10个大队；依山公社辖联合、柞树、松江、乌鸦泡、韩乡、东兴、依山、八家子、五四9个大队；三站公社辖一、二、三、四大队、老站、新立、兴凤山、兴隆岗、民利、洪胜、建兴、长胜、永兴、三合14个大队；创业公社辖大林子、南六方、西六方、新乡、红卫、创业、奋斗、兴旺、光辉、东六方10个大队；祥顺公社辖兴隆、祥顺、永乐、台头、向阳、林场、魏玺、新发、四方泡、新村、新丰11个大队；清河公社辖漂河、清河、旱田、双兴、新兴、爱民、新建、二道河子、大古洞、小古洞、西北河、良种场12个大队。
1985年，全县辖通河、清河、乌鸦泡、浓河、凤山5个镇和洪太、富乡、岔林、蚂螂河、桦树、镇郊、三站、祥顺、创业、依山10个乡，共有143个行政村，221个自然屯。
1992年末，通河县位于黑龙江省中部，松花江中游北岸。东邻依兰县，南与方正县、宾县以江为界，西与木兰县毗连，北与庆安县、铁力市接壤。全县总面积5675平方千米，总人口23.5万人，其中非农业人口10.1万人；朝鲜、满、回、蒙古等少数民族占3.2%。辖15个乡镇。县政府驻地通河镇。？年，撤销镇郊乡。
1996年，通河县面积5675平方千米，人口23.4万人。辖5镇9乡：通河镇、乌鸦泡镇、清河镇、浓河镇、凤山镇、创业乡、依山乡、祥顺乡、三站乡、蚂螂河乡、桦树乡、洪太乡、富乡乡、岔林乡。县政府驻通河镇。
2000年第五次全国人口普查，全县总人口203515人，其中：通河镇44116人，乌鸦泡镇7223人，蒲阿镇17803人，浓河镇15535人，凤山镇6396人，祥顺乡13113人，三站乡11431人，富乡乡9514人，桦树乡8299人，依山乡7809人，岔林乡8286人，洪太乡6402人，创业乡6452人，蚂螂河乡5536人，清河林业局20269人，兴隆林业局10607人，岔林河农场3661人，清河农场1063人。
2002年，乡、镇、村合并：撤销桦树乡并入通河镇，撤销依山乡并入乌鸦泡镇，撤销洪太乡并入浓河镇，撤销蚂螂河乡并入凤山镇，撤销祥顺乡、创业乡合并设立祥顺镇，撤销富乡乡、岔林乡合并设立富林乡。2003年末，全县辖6个镇、2个乡：通河镇、乌鸦泡镇、清河镇、浓河镇、凤山镇、祥顺镇、三站乡、富林乡，共有40个居委会、82个行政村。
2006年，全县总面积5675平方千米，总人口23万人，辖6个镇、2个乡，82个行政村。