东山区，因地处矿山东部，故称“东山”。中华民国成立后，1918年兴华煤矿公司开发石头河地方煤矿，逐渐形成居民区，隶属汤原县管辖。东北沦陷后，初隶矿山保，1938年改隶兴山街，1939年6月划归鹤立县管辖。1945年“九三”抗日战争胜利后，1946年设立东山区，隶属兴山市管辖。1948年撤销东山区。1949年11月，改隶鹤岗市管辖。
1954年设立东山街道办事处，1958年11月改称东山经济区。同时将一部分居民区划为新一经济区。1960年12月10日，省人民委员会批准，正式设立东山区和新一区。1966年8月31日，鹤岗市人民委员会批准，将东山区改称群力区，将新一区改称反修区。1980年4月24日，省人民政府批准，将群力、反修两区合并，改为东山区。
1992年末，东山区位于市区东北部，为鹤岗矿务局主要产煤区之一。东、南、东北与东方红乡毗邻，西、西南与向阳区接壤，北、西北与兴山区相连。总面积21平方千米，总人口9.5万人，其中非农业人口6.9万人；少数民族有满、回、朝鲜族等。辖东山、新一、工人村、三街、新华5个街道。区政府驻地东山路。（以上摘自《黑龙江省志·地名录》，有改动）
2000年第五次全国人口普查时，将市林业局属地、矿务局林业处林场属地和鹤北林业局部分属地划入东山区版图。使辖区总面积增至4400平方千米。其中：郊区面积1067平方千米，城区面积21平方千米，林区面积2312平方千米。郊区环绕鹤岗周围。辖区总人口16.7万人。辖4个街道、1个镇、4个乡。
2000年第五次人口普查，东山区总人口176946人，其中：东山街道23760人、三街街道10014人、工人村街道14086人、新一街道25477人、新华镇17581人、红旗乡14177人、蔬园乡22195人、东方红乡14822人、团结乡7093人、林业局3829人、新华农场23912人。
？年，东山区辖4个街道、1个镇、4个乡：新一街道、三街街道、工人村街道、东山街道、新华镇、团结乡、东方红乡、红旗乡、蔬园乡，工业49个居委会、55个行政村。
2011年，将东山区的光宇街道划归兴安区管辖。7月14日，《黑龙江省民政厅关于对鹤岗市东山区红旗乡撤乡建镇并整建制划归兴安区管辖的批复》：同意将鹤岗市东山区红旗乡撤乡建镇并整建制划归鹤岗市兴安区管辖，镇政府改驻永新村。