因濒临汾河，故名。尧都平阳，即今临汾。春秋晋都绛（亦曰翼，今翼城县）。后迁都曲沃（今曲沃县），再后又迁都新田（今侯马市）。战国时为韩初都之平阳（今尧都区）。秦、汉为河东郡地。三国魏正始八年（247）置平阳郡（今尧都区）。晋永嘉三年汉刘渊建都于今尧都。前赵置雍州（今尧都区境）、冀州（今安泽县境）。北魏废冀州，改雍州为唐州，置南吐京郡（今 隰县境）、汾西郡（今汾西县境）。旋废南吐京郡。神麚元年（428）置禽昌郡（今吉县境），太平真君二年（441）徙治今洪洞县境。正平二年（452）置五城郡（今吉县境）。延兴四年（474）置定阳郡（今吉县境）、中阳郡（今乡宁县境）。太和十二年（488）置汾州（今 隰县境）。
孝昌二年（526）废汾州，侨置西河郡（今尧都区境）。三年置北绛郡（今翼城县境）；五城、定阳2郡徙治今尧都区境。建义元年（528）改唐州为晋州，置永安郡（今霍州市境），置冀氏、义宁2郡（今安泽县境），永安郡徙治今洪洞县境。永安年间置南汾州（今吉县境）。北魏末年永安郡归治今霍州市境。东魏定阳郡徙治今介休市境。天平四年（537）置敷城郡（今尧都区境）。兴和二年（540）置北五城郡（今尧都区境）。北齐废冀氏郡，改南汾州为西汾州，置临汾郡（今汾西县境）。北周废五城、北五城、敷城3郡，置石城郡（今蒲县境），改西汾州为汾州。大象元年（579）废石城郡，置龙泉郡（今 隰县境）、临河郡（今永和县境）。
隋开皇元年（581）改平阳郡为平河郡，置吉阳郡（今吉县境）。三年废郡。四年改汾州为西汾州，五年改隰州。十六年置汾州（今霍州市境）、耿州（今吉县境）。十八年改汾州为吕州、耿州为汾州。大业三年（607）废吕州，改晋州为临汾郡、隰州为龙泉郡、汾州为文城郡。义宁元年（617）置霍山郡（今霍州市境）、翼城郡（今翼城县境），二年改临汾郡为平阳郡。唐武德元年（618）改平阳郡为晋州、霍山郡为吕州、龙泉郡为隰州、翼城郡为浍州、文城郡为汾州，二年置昌州（今蒲县境）、中州（今大宁县境）、东和州（今永和县境），改浍州为北浍州，三年升晋州为总管府，四年升都督府，废北浍州，五年改汾州为南汾州。
贞观元年（627）废中、昌2州，二年废东和州，六年废晋州都督府，复为晋州，八年改南汾州为慈州，十年置新田府（今侯马市境），后废，十七年废吕州。天宝元年（742）改晋州为平阳郡、隰州为大宁郡、慈州为文城郡。乾元元年（758）改平阳郡为晋州、大宁郡为隰州、文城郡为慈州。五代梁开平四年（910）废晋州，改置定昌军。贞明三年（917）改建宁军。五代唐同光元年（923）改建雄军。五代晋复为晋州。宋太平兴国六年（981）以晋州置晋州平阳郡。熙宁五年（1072）废慈州，元祐元年（1086）复置。政和三年（1113）升赵城县（故治在今洪洞县境）为庆祚军。六年升晋州平阳郡为平阳府。
金废庆祚军。天会六年（1128）置河东南路（今尧都区境），改隰州为南隰州。天德三年（1151）改南隰州为隰州、慈州为耿州。明昌元年（1190）改耿州为吉州。贞佑三年（1215）升霍邑县（故治在今霍州市境）为霍州。兴定四年（1220）升翼城县为翼州。五年置蒲州（今蒲县境）。元光二年（1223）升翼州为翼安军。元废翼安军、蒲州、河东南路，改平阳府为平阳路。大德九年（1305）改平阳路为晋宁路。明洪武九年（1376）改平阳府。后置河东道（今尧都区境）。清雍正二年（1724）升隰、吉2州为直隶州，乾隆三十七年（1772）升霍州为直隶州，降吉州为散州。民国初年废府、道、州。
1949年设临汾专区，专署驻临汾县，辖临汾、襄陵、曲沃、吉县、乡宁、汾城、安泽、大宁、永和、蒲县、汾西、隰县、赵城、洪洞、霍县、浮山、翼城等17县。1951年，原汾阳专区所属石楼县划入临汾专区。1954年，将洪洞、赵城2县合并为洪赵县（驻原洪洞县城）；襄陵、汾城2县合并为襄汾县（驻原汾城县史村）；同年撤销临汾专区，改设晋南专区，专署驻临汾县，将原临汾专区所属临汾、洪赵、霍县、安泽、浮山、翼城、曲沃、襄汾、乡宁、吉县、蒲县、大宁、永和、石楼、隰县、汾西等16县，运城专区所属安邑、万荣、河津、稷山、新绛、闻喜、绛县、垣曲、夏县、平陆、解虞、芮城、永济、临猗等14县及运城镇划归晋南专区；晋南专区辖30县、1镇。
1955年，运城镇改为县辖镇，并入安邑县。1958年，设立侯马市；撤销曲沃、新绛、襄汾、绛县4县，将曲沃、新绛2县全部和襄汾、绛县2县部分地区划入侯马市；襄汾县部分地区并入临汾县；绛县部分地区并入翼城、闻喜、垣曲3县；撤销浮山县，并入临汾县；撤销夏县，并入闻喜、垣曲2县；撤销霍县、汾西2县，合并设立霍汾县（驻原霍县县城）；后又撤销霍汾、洪赵2县，合并设立洪洞县（驻旧洪洞县城）；撤销吉县，并入乡宁县；撤销隰县、大宁2县，合并设立隰宁县（驻原隰县城）；后又撤销隰宁、蒲县、永和、石楼4县，合并设立吕梁县（驻原隰县城）；撤销安邑、解虞、临猗、永济4县，将临猗县部分地区划归万荣县，永济县中条山以南地区划归芮城县；将安邑、解虞2县全部和临猗、永济2县部分地区合并设立运城县（驻运城镇）；撤销河津县，并入稷山县。晋南专区辖侯马市及临汾、洪洞、安泽、翼城、乡宁、吕梁、万荣、稷山、闻喜、垣曲（驻刘张镇）、平陆（驻圣人涧镇）、运城、芮城等13县。
1959年，撤销万荣县，并入稷山县。1960年，恢复浮山、霍汾、蒲县、石楼、万荣、临猗（驻旧猗氏县城）6县。1961年，恢复霍县、汾西、绛县、襄汾、夏县、永济（驻赵伊镇）、吉县、永和、大宁、隰县10县；撤销霍汾、吕梁2县。1962年，恢复河津、新绛2县。1963年，撤销侯马市，恢复曲沃县（驻侯马镇）。1967年改晋南地区。
1970年，撤销晋南地区，设立临汾地区，地区驻临汾县；将运城、新绛、绛县、稷山、万荣、永济、夏县、闻喜、平陆、垣曲、芮城、河津、临猗等13县划归运城地区；临汾地区辖临汾、霍县、汾西、洪洞、永和、大宁、隰县、蒲县、吉县、乡宁、安泽、翼城、浮山、曲沃、襄汾、石楼等16县。1971年，由临汾县析置临汾市，地区驻临汾市；恢复侯马市；临汾县迁驻龙祠，曲沃县迁驻原曲沃县城；由安泽、浮山2县部分地区设立古县；将石楼县划归吕梁地区；临汾地区辖2市、16县。1973年，临汾县迁驻刘村。1975年，临汾县迁驻临汾市，古县迁驻岳阳镇。
2000年6月23日，国务院（国函〔2000〕78号）批复：一、同意撤销临汾地区和县级临汾市，设立地级临汾市。市人民政府驻新设立的尧都区。二、临汾市设立尧都区，以原县级临汾市的行政区域为尧都区的行政区域。区人民政府驻鼓楼东大街。三、临汾市辖原临汾地区的曲沃县、翼城县、襄汾县、洪洞县、古县、安泽县、浮山县、吉县、乡宁县、大宁县、隰县、永和县、蒲县、汾西县和新设立的尧都区。原临汾地区的县级侯马市和霍州市由省直辖。【县级侯马市、霍州市由地级临汾市代管】
2000年第五次人口普查，临汾市常住总人口3950845人，其中，尧都区724403人，曲沃县222391人，翼城县303258人，襄汾县466163人，洪洞县693261人，古县84696人，安泽县76139人，浮山县121323人，吉县97096人，乡宁县216408人，大宁县56037人，隰县95895人，永和县61001人，蒲县98860人，汾西县133836人，侯马市225123人，霍州市274955人。
2010年第六次人口普查，临汾市常住总人口4316610人，其中，尧都区944050人，曲沃县237033人，翼城县311471人，襄汾县442614人，洪洞县733420人，古县91798人，安泽县82012人，浮山县127831人，吉县106407人，乡宁县233167人，大宁县64501人，隰县103617人，永和县63649人，蒲县107339人，汾西县144791人，侯马市240005人，霍州市282905人。
2015年末，临汾市常住人口443.57万人。共有20个街道、75个镇、76个乡（合计171个），191个居委会、2957个村委会（合计3148个）。