平凉，以苻秦灭前凉，故名。秦置泾阳县，北周建德元年（572）改置平凉县。1950年析平凉县城区及近郊置平凉市，1953年升为省辖市。1958年复降县级市，撤销平凉县入平凉市。1964年撤销平凉市，恢复平凉县。1983年，撤销平凉县，设立平凉市，以平凉县的行政区域为平凉市的行政区域。
2002年6月2日，国务院（国函[2002]46号）批准同意撤销平凉地区和县级平凉市，设立地级平凉市。平凉市设立崆峒区，以原县级平凉市的行政区域为崆峒区的行政区域。区人民政府驻西大街。
1996年，平凉市面积1936.1平方千米，人口42.2万人，回族占27.5%。辖3个街道、2个镇、11个乡、9个民族乡：东关街道、西郊街道、中街街道、四十里铺镇、土谷堆镇、安国乡、崆峒乡、柳湖乡、白水乡、花所乡、青龙乡、香莲乡、杨庄乡、草峰乡、索罗乡、麻武乡、西阳回族乡、大秦回族乡、寨河回族乡、白庙回族乡、麻川回族乡、峡门回族乡、上杨回族乡、康庄回族乡、大寨回族乡。市政府驻西大街。？年撤销土谷堆镇。
2000年第五次人口普查，平凉市总人口454996人，其中，东关街道50953人，中街街道37841人，西郊街道55595人，四十里铺镇46894人，安国乡9977人，崆峒乡17726人，崆峒乡40262人，白水乡26816人，花所乡15915人，草峰乡19921人，索罗乡11195人，青龙乡6306人，西阳乡11564人，大秦乡10498人，白庙乡11114人，寨河乡12779人，香莲乡7828人，杨庄乡11243人，麻武乡4821人，麻川乡4108人，峡门乡14752人，上扬乡5512人，康庄乡8302人，大寨乡13074人。
2003年12月8日甘肃省民政厅《关于平凉市乡镇行政区划调整的批复》（甘民区复字[2003]49号），以及平政发[2003]180号文件：批准同意崆峒区撤销青龙乡，将该乡并入安国乡；撤销杨庄乡，将该乡并入草峰镇；撤销康庄回族乡，将该乡并入大寨回族乡；撤销麻川回族乡，将该乡并入峡门回族乡。
2008年末，崆峒区面积1936.2平方千米，辖3个街道、4个镇、13个乡（其中7个民族乡）：东关街道、中街街道、西郊街道、四十里铺镇、崆峒镇、白水镇、草峰镇、安国乡、柳湖乡、花所乡、索罗乡、香莲乡、西阳回族乡、大秦回族乡、白庙回族乡、寨河回族乡、大寨回族乡、上杨回族乡、麻武乡、峡门回族乡，共有252个行政村，1381个村民小组。农业人口7.51万户32.25万人。（不含城区数据）
2010年第六次人口普查，崆峒区常住总人口504848人，其中，东关街道64172人，中街街道60467人，西郊街道65073人，四十里铺镇46707人，崆峒镇19362人，白水镇27345人，草峰镇31159人，安国乡13067人，柳湖乡47442人，花所乡14610人，索罗乡11804人，香莲乡6860人，西阳乡12078人，大秦乡10483人，白庙乡13356人，寨河乡13088人，大寨乡18144人，上扬乡7849人，麻武乡4668人，峡门乡17114人。
2015年，省民政厅（甘民复〔2015〕49号）批复同意撤销安国乡、柳湖乡，设立安国镇、柳湖镇。