相传县址临近水潭，故名。据《元和郡县志》，因县城东西北三面并枕洮水，有似临潭，因以为名。晋置洮阳县。北周置美相县。唐贞观五年（631）改临潭县，乾元后为吐蕃占据。宋置洮州。明改洮州卫。清改洮州厅。1913年复称临潭县。1949年9月11日，临潭县辖区和平解放；27日成立临潭县人民政府，隶属岷县专属。1950年5月25日划归临夏专署。1953年10月，临夏专区所辖的临潭县划归甘南藏族自治区（1955年末改为甘南藏族自治州）。
1953年6月11日，临潭县人民政府从新城迁驻旧城，下设1个市，5个区，32个乡级政权：第一区驻新城，下辖城关乡（新城地区）、端阳乡、寇家侨乡、扁都乡、新堡乡、资堡乡、秦关乡、总寨乡：第二区驻羊永，下辖流顺乡、羊永乡、太平乡、羊升乡、和平乡（长川地区）；第三区驻王家坟，下辖王家坟乡、陈旗乡、三岔乡、尹家沟乡、马营河乡；第四区驻冶力关关街，下辖冶河乡、冶海乡、八角乡、莲花乡；第五区驻羊沙，下辖甘沟乡、岸门乡、石门乡、罗堡沟乡；旧城市驻旧城，下辖西关乡（包括卓洛地区）、古城乡、南关乡和西关街、南关街（均为城镇居民）。牙关乡为县直属乡（包括初布一带）。
1955年末，临潭县辖6个区，33个乡和旧城市。1956年6月，旧城市改为城关镇。1958年3月，撤销县辖区级建制，乡镇合并，设立大乡建制。1958年12月，撤销乡级建制，设立人民公社。1958年12月30日，国务院批准调整县级行政区划建制：撤销卓尼县建制，将其管辖的铁坝、博峪、麻牙、卡坝、大拉、桑坝等区域划归舟曲县管辖，其余辖区划归临潭县管辖。临潭县下设城关、新城、柳林、洮阳、新城、羊永、冶力关、洮北、录竹、北山、上迭等11个公社。1961年12月15日，经国务院批准，恢复卓尼县建制，原并入临潭县的卓尼县辖区为行政区域；临潭县的上迭（包括益哇、电尕）划归新成立的迭部县。
1962年，临潭、卓尼两县分治时，行政区划范围有所调整：原临潭县所属的温旗，羊化、草岔沟等村划归卓尼县辖区；原卓尼县所属的立洛、三石、小术布等村划入临潭县辖区。1962年末，临潭县辖古战、牙关、术布、长川、羊永、流顺、新城、扁都、店子、新堡、总寨、三岔、王家坟、陈旗、石门、羊沙、冶力关、八角18个公社和城关镇。1963年，增设范家嘴和卓洛2个公社。1965年9月1日，撤销牙关、范家嘴2个公社，分别并入术布公社和城关镇。1971年2月，王家坟公社更名为龙元公社。1972年，撤销城关镇，设立城关公社。1981年，撤销城关公社，恢复城关镇建制。
1984年8月，改公社为乡，生产大队改村委会，生产队改村民小组。1985年12月18日，卓洛、古战、长川3个乡分别改为卓洛回族乡、古战回族乡、长川回族乡。1996年，临潭县面积1557.7平方千米，人口14万人，其中回族占16%，藏族占7.6%。辖1个镇、15个乡、3个民族乡：城关镇、术布乡、古战回族乡、长川回族乡、总寨乡、流顺乡、羊永乡、新城乡、扁都乡、新堡乡、店子乡、石门乡、三岔乡、陈旗乡、羊沙乡、冶力关乡、八角乡、龙元乡、卓洛回族乡。县政府驻城关镇。
2000年第五次人口普查，临潭县常住总人口141030人，其中，城关镇21316人，术布乡3746人，古战乡5439人，卓洛乡2258人，长川乡9263人，羊永乡8077人，流顺乡8623人，新城乡11593人，扁都乡9255人，店子乡4694人，新堡乡4220人，总寨乡4883人，三岔乡3597人，龙元乡4540人，陈旗乡10001人，石门乡8204人，羊沙乡6449人，冶力美乡9585人，八角乡5287人。
2002年6月25日，甘肃省民政厅甘民区复字[2002]21号批复：撤销新城乡、冶力关乡，分别设立新城镇、冶力关镇。2005年12月13日，甘肃省民政厅甘民区复[2005]59号批复：撤销龙元乡、陈旗乡，合并设立王旗乡，乡政府驻地设在王旗村；撤销其总寨乡、新堡乡，合并设立洮滨乡，乡政府驻地设在上旗村；撤销扁都乡，并入新城镇。
2005年末，临潭县辖3个镇、10个乡、3个民族乡：城关镇、新城镇、冶力关镇、羊永乡、流顺乡、羊沙乡、石门乡、八角乡、王旗乡、店子乡、三岔乡、洮滨乡、初布乡以及古战回族乡、卓洛回族乡、长川回族乡。共有3个居委会、141个村委会、723个村民小组，34067户151897人，1158平方千米。
2008年末，全县面积1557.7平方千米，农业人口2.96万户13.21万人。辖3个镇、10个乡、3个民族乡：城关镇、新城镇、冶力关镇、初布乡、古战回族乡、卓洛回族乡、长川回族乡、羊永乡、流顺乡、店子乡、洮滨乡、三岔乡、王旗乡、石门乡、羊沙乡、八角乡，141个行政村，723个村民小组。
2010年第六次人口普查，临潭县常住总人口137001人，其中，城关镇23035人，新城镇20535人，冶力关镇10066人，初布乡3377人，古战回族乡4717人，卓洛回族乡2100人，长川回族乡10037人，羊永乡7849人，流顺乡8876人，店子乡4722人，洮滨乡9060人，三岔乡2393人，王旗乡11941人，石门乡7156人，羊沙乡6042人，八角乡5095人。
2015年，省民政厅（甘民复〔2015〕154号）批复同意撤销羊永乡、王旗乡，设立羊永镇、王旗镇。