以县北山顶上的一块形如磨盘的石头而得名。在本县的北部，有一座大山，其山的顶部有一块大石，石头的形状宛如一块巨大的磨盘，因而当地人便称此山为磨盘山，此石为磨盘石。夏、商、周、秦为肃慎地；两汉、三国属玄菟郡；唐代属渤海中京显德府显、铁、兴三州；宋时为回大王府定安国地；元初为咸平府地；明初属塔山、发河等卫。
清初属盛京围场，光绪七年（1881年）开禁放荒；光绪八年议准设磨盘山巡检；光绪十四年升磨盘山分州；光绪十八年修筑城垣。光绪二十八年（1902）设磐石县，依城东磨盘山名，取“安如磐石”意，治赫尔苏，属吉林府。1913年隶属西南路道【一说，宣统二年（1910）属西南路道，1914年属吉长道】。1929年废道制，改属吉林省；1932年，日军侵占磐石县城，立伪县公署。
1945年8月15日日本投降后，磐石解放，同年11月建立民主政府，先后隶属于中共永吉地委、吉林省地方工作委员会。1946年1月属辽北分省。同年5月27日，民主政府转移至黑石、江南区（现松山镇）一带，属吉南专区。1947年5月31日，磐石再次解放，民主政府迁回县城，仍属吉南专区，专区撤销后直属吉林省。1958年9月属吉林市，1966年1月划属永吉专区，1969年5月复归吉林市。1995年8月30日，国务院批准撤销磐石县，设立磐石市。同年10月，正式撤县设市，由吉林省直辖，吉林市代管。
1997年，磐石市面积3960平方千米，人口53.6万人。辖4个街道、14个镇、9个乡：福安街道、东宁街道、河南街道、阜康街道、红旗岭镇、烟筒山镇、驿马镇、明城镇、官马镇、吉昌镇、细林镇、黑石镇、松山镇、呼兰镇、取柴河镇、富太镇、三棚镇、石嘴镇、磐郊乡、安乐乡、宝山乡、大旺乡、长崴子乡、小梨河乡、二道岗乡、朝阳山乡、牛心乡。市政府驻福安街道。
2000年第五次人口普查，全市总人口530470人，其中（3个街道、14个镇、8个乡）：福安街道20295人、东宁街道40092人、河南街道28146人、烟筒山镇58170人、红旗岭镇24685人、明城镇46052人、石嘴镇18258人、驿马镇14280人、官马镇17488人、细林镇14518人、呼兰镇26977人、吉昌镇20544人、松山镇15323人、黑石镇21420人、三棚镇17378人、富太镇20154人、取柴河镇17664人、宝山乡28506人、磐郊乡13263人、安乐乡13346人、二道岗乡9306人、大旺乡13808人、长崴子乡12127人、朝阳山乡7106人、牛心乡11564人。
2001年10月26日，吉林省民政厅批复同意将磐石市部分乡镇行政区划调整如下：撤销官马镇，将其所辖行政区域划归烟筒山镇管辖，镇政府驻地不变。撤销安乐乡，将其所辖行政区域划归石嘴镇管辖，镇政府驻地不变。撤销大旺乡，将其所辖行政区域划归吉昌镇管辖，镇政府驻地不变。撤销二道岗乡，将其所辖行政区域划归红旗岭镇管辖，镇政府驻地不变。撤销牛心乡、细林镇，设立牛心镇，辖原牛心乡、细林镇所辖行政区域，镇政府驻牛心。撤销朝阳山乡、三棚镇，设立朝阳山镇，辖原朝阳山乡、三棚镇所辖行政区域，镇政府驻朝阳山。撤销磐郊乡，将其所辖行政区域划归福安街道管辖。将原福安街道的中福、泰安、金桥、新安、平安5个居委会划归东宁街道管辖。撤销小梨河乡，将其所辖行政区域划归烟筒山镇管辖，镇政府驻地不变。
2002年12月30日，吉林省民政厅（吉民行批[2002]12号）批复同意撤销长崴子乡，将其所辖行政区域划归吉昌镇管辖。乡镇合并后，镇政府驻地不变。2002年末，磐石市总人口52.8万人，其中非农业人口17.5万人。
2003年底，磐石市面积3960平方千米，总人口52.8万人。辖3个街道、13个镇、1个乡：东宁街道、河南街道、福安街道、红旗岭镇、烟筒山镇、明城镇、驿马镇、吉昌镇、黑石镇、松山镇、呼兰镇、取柴河镇、富太镇、石嘴镇、朝阳山镇、牛心镇、宝山乡，1个省级开发区，269个行政村，962个自然屯。（根据《吉林省年鉴2003》）
2006年4月14日，吉林省民政厅（吉民行批[2006]3号）批复同意将东宁街道所辖的蚂蚁、曙光、东纸房、新建4个村和河南街道所辖的佟家、东兴立2个村划归福安街道管辖。