因原为隋代交城县故治，因名故交，后讹为古交。隋开皇十六年（596），析晋阳西境置交城县（县治交山，在今古交城区），属太原郡。唐天授二年（691），交城县治徙却波村（今交城县城），以就驿道。先天二年（713），析交城县北境于今古交境域置卢川县，县治在今炉峪口。开元二年（714），撤卢川县复并入交城县。此后直到民国初年的1200多年中，古交境内无县级建置，为交城、阳曲二县地。
民国26年（1937）11月，日军先后侵占了太原和交城县城。民国26年（1937）11月至翌年3月八路军一二零师三五八旅挺进古交，发动群众组建了半政权性质的阳（曲）交（城）边区民族革命战争战地总动员委员会，初创了革命根据地。民国27年（1938）3月至翌年，山西省第八行政督察员公署在河口镇成立，后移驻狮子河一带，同时，山西省阳曲县政府驻河口一带，交城县政府驻屯兰川一带。
从1940年至1945年8月抗日战争胜利，晋绥边区第八分区专员公署（原山西省第二游击区第八分区专员公署，1941年8月改称为晋西北第八分区专员公署，1943年11月改称晋绥边区第八分区专员公署）先是游动，后长驻在屯兰川关头村一带。交城县抗日民主政府驻屯兰川、原平川一带，阳曲县抗日民主政府驻狮子河一带。1946年冬，阎军进占古交镇、河口等地，并组建古交行政管理区（县级），旋即被根据地军民摧垮。1946年-1948年7月，阳曲县政府驻河口、曹坪、大南坪一带。
1958年8月，划阳曲县的嘉乐泉、阁上、梭峪、曹坪、杏林坪、大南坪、河口与交城县的河南、古交9个乡，设立太原市河口工矿区、区领导机关驻河口镇。同年11月上旬，又划交城县的岔口、营立、姬家庄、镇城底、原相、南头、草庄头、刑家社8个乡，连前共17个乡，改制太原市古交工矿区。1971年8月，娄烦县的长足上大队和雁门大队划归本区。1988年，经国务院批准，古交撤区建市。
1996年，古交市面积1580平方千米，人口约17万人。辖4个街道、3个镇、12个乡：东曲街道、西曲街道、马兰街道、镇城底街道、古交镇、河口镇、镇城底镇、河南乡、大南坪乡、阁上乡、梭峪乡、姬家庄乡、常安乡、草庄头乡、曹坪乡、加乐泉乡、原相乡、邢家社乡、岔口乡。市政府驻古交镇。
1998年末，古交市总面积1584平方千米。总人口18.86万人，其中非农业人口10.46万人，农业人口8.4万人。辖5个街道和15个乡镇，53个居委会、200个村委会，387个自然村。
2000年第五次人口普查，古交市常住总人口205702人，其中，东曲街道34575人，西曲街道33126人，屯兰街道12495人，马兰街道14563人，镇城底街道19015人，古交镇7053人，河口镇12222人，镇城底镇7878人，河南乡4168人，大南坪乡3497人，曹坪乡2920人，阁上乡1255人，加乐泉乡4421人，梭峪乡9266人，姬家庄乡6900人，岔口乡8930人，常安乡8469人，原相乡5431人，草庄头乡5585人，邢家社乡3933人。
2001年，曹坪乡、大南坪乡并入河口镇，姬家庄乡与马兰街道办事处合并设立马南镇，草庄头乡并入邢家社乡，河南乡并入东曲街道办事处，撤销古交镇与西曲街道办事处，调整后设立桃园街道办事处，撤销镇城底街道办事处，将所辖居委会分别并入镇城底镇、嘉乐泉乡、梭峪乡。古交市辖7乡3镇4个街道。
2004年末，古交市辖4个街道、3个镇、7个乡：东曲街道、西街道、屯兰街道、桃园街道；河口镇、镇城底镇、马兰镇；加乐泉乡、邢家社乡、梭峪乡、阁上乡、岔口乡、常安乡、原相乡。
2010年第六次人口普查，古交市常住总人口205143人，其中，东曲街道40872人，西曲街道16446人，桃园街道38515人，屯兰街道17588人，河口镇15161人，镇城底镇9022人，马兰镇21056人，阁上乡512人，加【嘉】乐泉乡7159人，梭峪乡16521人，岔口乡6629人，常安乡6123人，原相乡3779人，邢家社乡5760人。
2015年末，古交市辖4个街道、3个镇、7个乡（合计14个），37个居委会、146个村委会（合计183个）。