汉属金城郡，隋置兰州，唐为五泉县，宋为兰泉县，金改兰州。清乾隆三年（1738）置皋兰县，以县南皋兰山得名，治所在今兰州市城关区。
1950年并入兰州市，1951年为省辖县。1955年县政府迁驻石洞寺。1958年撤销皋兰县，1961年恢复皋兰县。1970年属兰州市。
1996年，皋兰县面积2400平方千米，人口16.2万人。辖1个镇、7个乡：城关镇、中心乡、忠和乡、水阜乡、石洞乡、西岔乡、什川乡、黑石川乡。县政府驻城关镇。
2000年第五次人口普查，皋兰县常住总人口161212人，其中（3个镇、5个乡）：城关镇16164人，西岔镇35891人，什川镇19795人，黑石川乡20566人，中心乡13787人，忠和乡15909人，水阜乡13972人，石洞乡25128人。
2004年，撤销石洞乡，将该乡并入城关镇。同时，城关镇更名石洞镇，镇政府驻地迁至原石洞乡政府驻地。
截至2005年11月28日，皋兰县辖4个镇、3个乡，3个社区、71个行政村，298个村民小组。石洞镇辖城北、城南、三川口3个社区，庄子坪、东湾、中堡、魏家庄、蔡河、豆家庄、文山、涧沟、明星、丰水10个行政村。西岔镇辖阳洼窑、岘子、团庄、漫湾、陈家井、西岔、铧尖、段家川、五墩、四墩、火家湾、中川、山字墩、赵家铺、窝窝井15个行政村。什川镇辖上车、长坡、南庄、北庄、上泥湾、下泥湾、河口、打麦沟、接官亭9个行政村。忠和镇辖忠和、崖川、丰登、平岘、六合、盐池、罗官、水源8个行政村。黑石乡辖白坡、石青、大横、三和、黑石、和平、白崖、中窑、星湾、红柳、新地11个行政村。中心乡辖中心、九合、兰沟、高山、钱家窑、头沟、李家沟、三坪、朱家井、曹家湾、碱水沟11个行政村。水阜乡辖彬草、涝池、砂岗、水阜、燕儿坪、长川、老鹳7个行政村。
2008年末，皋兰县总面积2556平方千米，辖7个乡镇，71个行政村，298个村民小组，农村人口3.87万户/15.31万人。
2010年，撤销中心乡，设立九合镇。皋兰县现辖5个镇、2个乡：石洞镇、西岔镇、忠和镇、什川镇、九合镇、黑石川乡、水阜乡。县政府驻石洞镇。
2010年第六次人口普查，皋兰县常住总人口131785人，其中，石洞镇45225人，西岔镇28750人，忠和镇11777人，什川镇14546人，九合镇10063人，黑石川乡12804人，水阜乡8620人。
2014年，省民政厅批复同意：撤销水阜乡，设立水阜镇（甘民复〔2014〕99号）；撤销黑石川乡，设立黑石镇（甘民复〔2014〕155号）。同年，忠和镇、什川镇、石洞镇被列为全国重点镇。