因境内根河得名。根河是蒙古语“葛根高勒”的谐音，意为“清澈透明的河”。清代为索伦部（当时对达斡尔、鄂温克、鄂伦春族的统称）的狩猎地。17世纪，鄂温克族的一部，从贝加尔湖附近列拿河畔迁来，以饲养驯鹿和狩猎为生，1921年由奇乾、室韦两县分辖。1933年建额尔古纳左翼旗，因额尔古纳河而得名。额尔古纳系蒙古语，意为呈递、奉献。蒙古语称东为左。1945年8月9日伪满垮台，8月10日苏联红军进驻三河并成立维持会。
1946年，经呼伦贝尔自治政府批准，成立了额尔古纳左翼旗公署和额尔古纳右翼旗公署。1947年11月，中国共产党派工作团进驻三河街（今额尔古纳市三河镇），将额尔古纳左、右翼两旗合并为额尔古纳旗。1966年4月1日，国务院批准撤销额尔古纳旗，设额尔古纳左旗和额尔古纳右旗，额尔古纳左旗政府所在地根河。1994年4月28日，经国务院批准撤销额尔古纳左旗，设立根河市，市政府驻根河。
1997年，根河市面积19659平方千米，人口17.7万人。辖3街道6镇1乡：森工路街道、中央路街道、河西街道、得耳布尔镇、牛耳河镇、金河镇、满归镇、阿龙山镇、好里堡镇、敖鲁古雅鄂温克民族乡。市政府驻森工路。根河境内驻有内蒙古大兴安岭林业管理局所属的五个林业局和一个板业集团，分别为根河林业局、得耳布尔林业局、金河林业局、阿龙山林业局、满归林业局、根河板业集团；呼伦贝尔市电力公司根河电业局；隶属于海拉尔铁路分局处级单位——根河铁路公司。
2000年第五次人口普查，根河市常住总人口157337人，其中：中央路街道18567人、河西街道19757人、森工路街道21650人、好里堡镇11415人、得耳布尔镇19315人、金河镇17950人、牛耳河镇6508人、阿龙山镇21791人、满归镇19886人、敖鲁古雅鄂温克民族乡498人。2000年末，全市户籍总人口173369人。
2002年末，全市总人口172263人。2005年，根河市辖3个街道、5个镇、1个民族乡：河东街道、河西街道、森工路街道、好里堡镇、得耳布尔镇、金河镇、阿龙山镇、满归镇、敖鲁古雅鄂温克族乡。
2006年，将6个乡镇调整为4个：撤销得耳布尔镇，并入敖鲁古雅鄂温克民族乡；撤销好力堡镇，并入河西街道。确定敖鲁古雅鄂温克族乡和金河镇为中心乡镇。
2006年末，全市总面积20012平方千米。总人口165747人，其中市区人口64286人；少数民族人口19375人。辖3个街道、3个镇、1个乡。
2009年末，全市总面积20012平方千米。总人口160909人。有少数民族19270人，其中，蒙古族9912人，回族3227人，满族3913人，达斡尔族915人，朝鲜族529人，鄂温克族436人。辖3个街道、3个镇、1个乡和2个办事处：河东街道、河西街道、森工街道、金河镇、阿龙山镇、满归镇、敖鲁古雅鄂温克族乡、好里堡办事处、得耳布尔办事处。
2011年，恢复得耳布尔镇。调整后，全市辖3个街道、4个镇、1个民族乡：河东街道、河西街道、森工路街道、金河镇、阿龙山镇、满归镇、得耳布尔镇、敖鲁古雅鄂温克族乡。