德令哈是蒙古语，意为“广阔的原野”。明为罕东卫辖地，后为蒙古诸部辖地，清属青海蒙古北左旗、北右旗辖地，民国时属都兰县。1956年，设立德令哈临时工作委员会，驻巴音河。1958年，撤销德令哈临时工作委员会，设立德令哈县（驻巴音河）。
1962年撤销德令哈县，并入乌兰县。1988年4月19日，民政部批准（民行批[1988]1号）设立德令哈市（县级），以德令哈镇和乌兰县的怀他头拉、戈壁、郭里木、宗务隆、畜集五个乡为德令哈市的行政区域。
1999年末，德令哈市面积25370平方千米，人口56501人（根据青海省志）。辖蓄集、宗务隆、怀头他拉、戈壁、郭里木5个乡。市政府驻河西（宗务隆乡辖地）。辖区还有德令哈、尕海、怀头他拉、巴音河4个州属国有农场。
2000年第五次人口普查，德令哈市总人口83585人，其中：宗务隆乡5503人，郭里木乡9992人，蓄集乡1334人，戈壁乡7972人，怀头他拉乡2893人，河西虚拟街道10697人，河东青新路北虚拟街道7835人，河东青新路南虚拟街道9725人。
2001年2月21日，青海省政府青政函[2001]11号文批复：撤销怀头他拉乡，设立怀头他拉镇；撤销郭里木乡，设立并命名为尕海镇（镇政府设在尕海）。
2001年末，德令哈市辖2个镇、3个乡，6个居委会、25个村（牧）委会。（直接管辖）：火车站、人民路、文化路、建国路、昆仑路、渠南6个居委会。 尕海镇：驻尕海，辖团结、尕海、新源、郭里木、平原、陶哈、努尔7个村（牧）委会。 怀头他拉镇：驻怀头他拉，辖东滩、怀图、巴力沟、卡洛图4个村（牧）委会。 蓄集乡：驻泽令沟，辖茶汗哈达、贡艾里沟、浩特茶汗3个村（牧）委会。 宗务隆乡：驻巴音河，辖白水河、红光、巴音河、陶斯图、伊克拉、乌察汗6个村（牧）委会。 戈壁乡：驻老德令哈，辖乌兰干沟、德令哈、茶汉沙、柯鲁诺尔、陶生诺尔5个村（牧）委会。
2005年，德令哈市调整乡镇行政区划：1、撤销戈壁乡，设立并命名为柯鲁柯镇，镇政府驻地迁移至原德令哈农场场部所在地浩门都谷。将尕海镇的民兴、民乐、平原三个村划归柯鲁柯镇管辖，实行镇管村体制。2、撤销宗务隆乡。将原宗务隆乡的白水河村、巴音河东村、巴音河西村、巴音河中村、甘南村划归河西街道办事处；将原宗务隆乡的东山村划归河东街道办事处；将原宗务隆乡的红光村划归火车站街道办事处；将原宗务隆乡的伊克拉、乌察汗、陶斯图三个村划归蓄集乡管辖。
德令哈市现辖3个街道、3个镇、1个乡：河西街道、河东街道、火车站街道、尕海镇、怀头他拉镇、柯鲁柯镇、蓄集乡。