唐永泰二年（766年）置祁门县，属歙州。据《续文献通考》：唐永泰初，方清伪置阊门县，后因其垒置县，以其县东北有祁山，西南有阊门，乃合名祁门。”1949年属徽州专区，1987年为黄山市辖县。
1996年，祁门县面积2257平方千米，人口约18.5万人，辖7镇18乡：祁山镇、安凌镇、闪里镇、平里镇、历口镇、金字牌镇、小路口镇、大坦乡、胥岭乡、溶口乡、芦溪乡、祁红乡、塔坊乡、彭龙乡、古溪乡、新安乡、箬坑乡、渚口乡、凫峰乡、雷湖乡。县政府驻祁山镇。
2000年第五次人口普查，祁门县常住总人口173405人，其中，祁山镇33945人，小路口镇6123人，金字牌镇6723人，平里镇6914人，历口镇8906人，闪里镇8605人，安凌镇4578人，大坦乡4068人，胥岭乡5288人，灯塔乡3878人，乔山乡3677人，凫峰乡9005人，横联乡4838人，柏溪乡4639人，塔坊乡7663人，祁红乡5312人，溶口乡4753人，芦溪乡5521人，渚口乡6514人，彭龙乡4823人，古溪乡5576人，新安乡6822人，箬坑乡6426人，赤岭乡4355人，雷湖乡4453人。
2004年，闪里镇政府驻地迁至铜锣湾；祁门县乡镇由25个调整为18个。2004年末，祁门县辖7个镇、11个乡。
2010年5月13日，撤销凫峰乡设立凫峰镇（民地字[2010]66号）。
2010年第六次人口普查，祁门县常住总人口157768人，其中，祁山镇55500人，小路口镇4786人，金字牌镇8731人，平里镇5374人，历口镇11088人，闪里镇8764人，安凌镇10950人，凫峰镇6525人，大坦乡3478人，柏溪乡3558人，塔坊乡5555人，祁红乡3429人，溶口乡3789人，芦溪乡3566人，渚口乡5903人，古溪乡5015人，新安乡5556人，箬坑乡6201人。
2014年，撤销塔坊乡，设立塔坊镇（民地字[2014]27号）。2015年，撤销新安乡，设立新安镇（皖民地函[2015]265号）。至此，全县辖10个镇、8个乡。