秦置枹罕县。前凉始建河州。北魏改置罿罕镇。西魏复置河州。1913年改为导河县，1929年改称临夏县，1944年设甘肃省第五行政督察专员公署。
1949年8月22日临夏解放。同年设临夏专区，专署驻临夏县，辖临夏（驻韩家集）、和政、夏河、宁定、永靖（驻莲花城）、康乐（驻辛集）、洮沙、临洮等8县。1950年，由临夏县城区设临夏市，专署驻临夏市；撤销洮沙县，并入临洮县，并将临洮县划归定西专区；由临夏、和政、宁定、永靖4县部分地区设立东乡自治区（9月25日），驻锁南坝；原岷县专区所属临潭县划入临夏专区。辖1市、6县、1自治区。
1952年临潭县驻地迁至旧城。1953年，临夏市改为省辖市；宁定县改设广通回族自治区；将临潭县划归甘南藏族自治州；东乡自治区改为东乡族自治区。临夏专区辖5县、2自治区。1955年，广通回族自治区改设广通回族自治县，东乡族自治区改设东乡族自治县。临夏专区辖4县、2自治县。
1956年撤销临夏专区，设立临夏回族自治州，自治州人民委员会驻临夏市。将临夏市和临夏、和政、永靖、康乐4县及东乡族自治县、广通回族自治县划归临夏回族自治州；广通回族自治县改设为广通县。辖1市、5县、1自治县。11月19日，临夏回族自治州成立。1957年广通县改名为广河县。1958年撤销永靖、临夏2县，并入临夏市；撤销广河、康乐2县，并入和政县；全州辖1市、1县、1自治县。
1961年，恢复临夏（驻韩家集）、康乐、永靖（驻莲花城）、广河（驻太子寺）4县；全州辖1市、5县、1自治县。1962年永靖县由莲花城迁驻小川。1973年撤销临夏市，并入临夏县。临夏回族自治州政府驻临夏县。临夏县驻地由韩家集迁城关。临夏回族自治州辖临夏、永靖（驻小川）、和政、康乐、广河（驻太子寺）5县及东乡族自治县（驻锁南坝）。
1983年，恢复临夏市（县级），以临夏县的城关镇和城关、南龙、折桥、枹罕4个公社为临夏市行政区域。临夏县人民政府驻地迁至韩家集。1996年，临夏州面积8169平方千米，人口178万人，其中回族占35.3%、东乡族占18%，辖临夏市和临夏、康乐、永靖、广河、和政5县及东乡族自治县自治县、积石山保安族东乡族撒拉族自治县。州政府驻临夏市。
2000年第五次人口普查，临夏回族自治州常住总人口1828462人，其中，临夏市202498人、临夏县348091人、康乐县231721人、永靖县192033人、广河县197428人、和政县182924人、东乡族自治县256828人、积石山东乡族保安族撒拉族自治县216939人。
2010年第六次人口普查，临夏回族自治州常住总人口1946677人，其中，临夏市274466人，临夏县326123人，康乐县233173人，永靖县180161人，广河县227466人，和政县185083人，东乡族自治县284507人，积石山保安族东乡族撒拉族自治县235698人。