南岗，昔称“秦家岗”，因今哈尔滨火车站地方有一秦姓人家居此耕种而得名。原指马家沟河以北，中东铁路线以南，由东南至西北一长形如屋脊状高岗地。清代属阿勒楚喀副都统辖地。1898年（清光绪二十四年），修筑中东铁路，逐渐形成街市，称新市街。清光绪二十四年（1898年），随着中东铁路的修筑，南岗地区沦为铁路附属地。光绪二十五年（1899年）至宣统三年（1911年），“附属地”辟为八个区域。其中，新市街（以现哈尔滨车站为中心，东至烟厂、西到西大桥）、老哈尔滨（现省政府一带）、兵团村（现西大桥至动物园一带）、马家沟4个区域属南岗地区。
光绪三十三年（1907年），将新市街（以大直街、火车站为中心地区）划为市区，以及沿铁路线的王岗镇等村屯均为铁路附属地，归俄人把持的“哈尔滨自治公议会”管辖。1926年3月30日，东省特别区市政管理局发布布告，宣布解散俄人把持的市公议会，成立哈尔滨自治临时委员会。同年4月17日，东省特别区行政长官公署公布（哈尔滨市自治试办章程》；6月17日实施《试办章程》，将埠头区、新市街划归哈尔滨特别市管辖，马家区归东省特别区管辖。
东北沦陷后，1933年7月1日，隶属哈尔滨特别市管辖。1938年7月1日，伪哈尔滨市公署公布市区条例，废止保甲制，实施区制，设立南岗、马家等区。原新市街划归南岗区，马家沟河以南地区划归马家区。1945年“九三”抗日战争胜利后，仍为南岗、马家两个区。1949年10月，撤销马家区，并入南岗区。
1935年实行保甲制，南岗区公署下设吉林街、邮政街、大直街、花园街、车站街（现红军街）、夹树街、木介街、文庙街、西大桥、太平桥、新发屯、砖街、西八杂市13甲。1938年7月实行区制，南岗区事务所下设司令街、货栈街、复华街、车站街（现红军街）、海关街、建设街、吉林街、奉天街（现鞍山街）、宽城街、文庙街、大安街11个分区。
1946年4月，南岗区行政区划袭用伪满后期街村制，辖10个街公所、两个村公所；马家区辖7个街公所、两个村公所。1948年7月，撤销街公所，成立街政府；南岗区辖13个街政府，两个村政府；马家区辖9个街政府，两个村政府。1949年9月，撤销区政府、街政府，成立区公所、街公所；南岗区公所（原南岗、马家两区合并）辖22个街公所、4个村公所。1950年10月，撤销南岗区公所，成立南岗区人民政府。1954年1月，22个街公所合并为14个街道办事处。
1958年12月，撤销滨江区，新春、跃进、王岗、平等（现红旗满族乡）、榆树5个农村公社划归南岗区管辖。1960年4月，成立奋斗公社；撤销街道办事处，成立街道公社；南岗区辖6个城市公社，5个农村公社。1962年1月，6个城市公社划为14个城市分社。1963年1月，榆树公社划归道里区管辖；同年5月，成立滨江区，新春、跃进、王岗、平等4个农村公社划归滨江区；南岗区辖14个城市分社。
1967年4月，14个城市分社合并为8个城市公社。1972年8月，撤销滨江区，新春、跃进、王岗、红旗4个农村公社划归南岗区管辖。1973年3月，8个城市公社划为14个城市公社，南岗区辖14个城市公社、4个农村公社。1980年1月，撤销14个城市公社，建立17个街道办事处。1984年政社分开，将农村公社改为乡的建制。1985年3月，将王岗乡与王岗街道合并改为王岗镇。1990年4月，成立先锋路街道。
1990年末，南岗区设松花江、曲线、通达、七政、清滨、和兴路、哈西、保健路、先锋路、花园、奋斗、革新、文化、大成、芦家、荣市、邮政、燎原18个街道，新春、跃进、红旗3个乡和王岗镇；421个居委会，32个行政村。区政府驻海城街。
1992年末，南岗区位于市境西南部，北与道外区相邻，东北与太平区接壤，东与香坊区、动力区毗连，东南连接平房区，西南与双城市以运粮河为界，西北界抵道里区。全区总面积182.9平方公里，其中城区面积56平方公里。总人口72.5万人，其中非农业人口66.9万人；少数民族人口占4.5%。辖花园、奋斗路、革新、文化、大成、芦家、荣市、邮政、燎原、松花江、曲线、通达、七政、清滨、和兴路、哈西、保健路、先锋路等18个街道和1镇、3乡。区政府驻地海城街。（《黑龙江省志·地名录》
南岗区位于哈尔滨市区中部，面积182.9平方千米，人口78.2万人。辖18个街道1镇3乡：奋斗路街道、七政街道、花园街道、革新街道、邮政街道、大成街道、曲线街道、燎原街道、和兴街道、文化街道、 松花江街道、哈西街道、清滨路街道、 先锋路街道、荣市街道、保健路街道、通达街道、芦家街道、王岗镇、 新春乡、跃进乡、红旗满族乡。区政府驻邮政街。（《中国政区大典》，1996年前后资料）
1998年，南岗、太平两区部分界线进行调整；邮政街道并入荣市街道；清滨路街道并入和兴路街道。
2000年第五次全国人口普查，全区总人口977432人，其中：大成街道38412人，燎原街道64400人，松花江街道40165人，花园街道50088人，曲线街道26926人，通达街道35600人，七政街道41710人，和兴路街道103586人，哈西街道61983人，保健街道70506人，荣市街道70354人，奋斗路街道63184人，芦家街道80747人，革新街道35963人，文化街道35173人，先锋路街道42612人，新春街道44744人，王岗镇52659人，红旗满族乡18620人。
2005年，南岗区辖17个街道、1个镇、1个乡、1个民族乡：花园街道、奋斗路街道、革新街道、文化街道、大成街道、芦家街道、荣市街道、燎原街道、松花江街道、曲线街道、通达街道、七政街道、和兴路街道、哈西街道、保健路街道、先锋路街道、新春街道、王岗镇、红旗满族乡、跃进乡。
2007年5月29日，黑龙江省民政厅（黑民区[2007]53号）批准：撤销哈尔滨市南岗区跃进乡，将其所辖行政区域并入城区，实行街道办事处管理体制。2007年11月25日，哈尔滨市政府（哈政综[2007]48号）批准同意设立跃进街道，管辖范围是：北起科研路，南至哈南站与香坊区交界处；东起哈平路，西至王岗镇靠山村与哈达村交界处。
2009年，南岗区面积182.87平方千米，户籍人口101.09万人。辖17个（应为18个）街道、1个镇、1个乡，134个社区、23个行政村。