西汉武帝元鼎六年（前111），开西南夷后置牂柯、越寓等郡。牂柯郡辖17县，其中11县在今云南东南部，今文山、砚山、马关县属进桑县地，西畴、麻栗坡属都梦县地，丘北属镡封县地，广南、富宁属句町县地。东汉时期，今文山州仍隶牂牁郡，其中，文山、砚山、马关、西畴、麻栗坡属进乘县地，丘北属镡封县地，广南、富宁属句町县地。三国蜀汉建兴三年（225），诸葛亮率兵平定益州、越嵩、群舸、永昌4郡后，将4郡改建为建宁、朱提、云南、永昌、兴古、越嶲、牂牁7郡，隶縻降都督。今文山州8县分别隶兴古郡的进乘县地（文山、马关、西畴、麻栗坡），镡封县地（丘北），句町县地（广南、富宁）。
西晋泰始六年（270），设宁州领南中7郡。太康三年（282），废宁州并入益州设南夷校尉。太安二年（303）复置宁州，全国设19州，形成州、郡、县三级建制。今文山州各县属宁州兴古郡的进乘县地（文山、砚山、马关），都篖县地（西畴、麻栗坡），镡封县地（丘北），句町县地（广南、富宁）。东晋时期将宁州又划为17郡，今文山州各县分属兴古郡的句町县地（广南、富宁），西安县地（西畴、麻栗坡），梁水郡的镡封县地（丘北），新丰、建安县地（文山、砚山、马关）。自东晋永和三年（347）到北周大定元年（581）的二百余年间，战乱频繁，南中大姓爨氏据地称雄，郡县设置经常改变。
隋统一全国后，今文山州属南宁州总管府辖。隋开皇四年（584），取消总管府，改州郡县制为州县制，设昆州、恭州、协州，废兴古郡。今文山州属昆州地。唐初期，置南宁州都督府（治所曲靖），今文山州分属严州、汤望州、归武州、奏龙州、英州、声州、勤州地。唐南诏国时今文山、砚山、西畴、麻栗坡、马关、丘北为通海都督管辖，广南、富宁属唐岭南道（冶所邕州）安南都护府管辖。宋代，除今广南、富宁隶属广南西路广源州（治所在今广西桂林）的特磨道及广源州的左江道（治所在今广西南宁）外，其余6县属大理国政权范围内的最宁镇部地（丘北）、王弄山部地（文山县部份地区）、教合三部地（马关县八寨、文山县古木）、矣尼迦部地（马关、西畴、麻栗坡）。
元至元十一年（1274），设云南行省、政区为路、府、县。至元十二年（1275）、十四年（1277），设广南西路宣抚司，治所在今广南县。至元十五年（1278）五月改称广南西路宣慰司，后改为宣抚司，辖今广南、富宁。今文山市属教合三部地，马关、西畴、麻栗坡属矣尼迦部地，隶宁远州。元大德四年（1300），今丘北县隶属广西路（治所在今泸西）维摩州。广南、富宁仍属广南西路宣抚司辖。文山为教合三部地，马关、西畴、麻栗坡为矣尼迦部，隶宁远州。明代洪武十五年（1382），广南西路宣抚司改为广南府，辖今广南、富宁两县。临安路改为临安府，辖教化长官司（文山、砚山）、八寨长官司（马关、麻栗坡）。丘北县属广西府维摩州。
清康熙六年（1667），在平定教化、枯木、八寨、王弄等土司与滇南诸土司联合反清的基础上，改土归流，以教化、王弄、安南三长官司地设开化府，辖开化、安南、王弄、逢春、永平、东安、江那、乐龙八里。原广南府辖广南、富州（富宁）。丘北仍隶属广西府维摩州。康熙八年（1669）裁广西府之维摩州，将其部分辖地划入广南府和开化府。清雍正八年（1730）七月，开化府增设马白同知及文山县附郭。开化府辖逢春里（今文山市部分地区）、东安里（今西畴县及麻栗坡县部分地区）、永平里（今马关县及河口县部分地区）；文山县附郭管辖开化里（今文山市部分地区）、王弄里（今文山市及屏边县、金平县部分地区）、乐龙里（今文山市部分地区）、安南里（今文山市及蒙自县部分地区）、江那里（今砚山县一带）。
乾隆二年（1737），广南府添设宝宁县附郭，治所设今广南县城。清嘉庆二十五年（1820），开化府设安平厅（今马关），辖逢春、东安、永平3里。清道光三年（1823），文山县增设江那（今砚山）县丞管江那里。清道光二十年（1840），丘北县丞升正县，隶属广西州。光绪十三年（1887），设临安开广道辖临安、开化、广南3府。同年，《中法续议界务专条》规定将今马关县都龙、麻栗坡县南温河等南山地区归中国，设归仁里隶安平厅。光绪二十一年（1895），今麻栗坡猛硐山及猛硐上中下三村划归中国，属开化府安平厅归仁里辖。清光绪二十三年（1897），设麻栗坡交涉副督办署及河口（时属安平厅）交涉副督办署。
民国2年（1913），裁撤开化府，文山县附郭称开化县；丘北县增设一员五槽县佐。裁撤广南府，改称广南县；富州厅改富州县；安平厅改安平县。民国3年（1914）复文山县名，麻栗坡交涉副督办公署改为麻栗坡对汛特别区督办公署，直属云南省都督府。安平县改称马关县，原辖地东安里改设普兰行政公署，辖西洒、畴阳两地域，隶马关县。民国4年（1915）广南县在维摩设县佐。民国9年（1920）西洒、畴阳由马关析置设正县名西畴县。民国18年（1929），废道各县直属省。民国21年（1932），江那、小维摩两县佐辖地合并设砚山设治局，民国24年（1935）改设正县名砚山县。民国26年（1937），富州县改称富宁县。民国31年（1942）3月，设立云南省第二行政督察区（驻文山县），辖文山、砚山、西畴、马关、屏边、丘北、广南、富宁8县。