春秋属鲁，战国为齐。西汉设东莞县、盖邑、东安县和阳都县，后汉末置东莞郡、东安郡。晋东莞郡改置东安郡。隋初废东安郡，置东安县，开皇十六年（596）改东安县为沂水县。因境内有沂水而得名。1940年至1944年，沂水县和临沂北部，莒县西部曾先后为莒沂边、沂临、边联、沂北、沂南、沂中、沂东等7县。1949年，沂中县又改设沂水县。
1994年9月7日，撤销黄山铺乡、许家湖乡，设立黄山铺镇、许家湖镇。1995年12月29日，撤销高庄乡，设立高庄镇。1996年，沂水县面积2434.8平方千米，人口111.2万人。辖13镇18乡。县政府驻沂水镇。
1997年12月26日，撤销武家洼乡，设立武家洼镇（鲁政函民字[1997]48号）。1998年12月23日，撤销王庄乡，设立王庄镇（鲁政函民字[1998]41号）。至此，沂水县辖15个镇、16个乡。
2000年第五次人口普查，全县总人口1057758人，其中：沂水镇131868人，马站镇62607人，高桥镇55823人，许家湖镇53456人，黄山铺镇46640人，姚店子镇41548人，诸葛镇35095人，崔家峪镇30981人，四十里堡镇30989人，杨庄镇27098人，夏蔚镇25434人，沙沟镇24258人，高庄镇30617人，王庄镇25518人，武家洼镇30679人，道托乡36531人，圈里乡34578人，龙家圈乡38421人，善疃乡31452人，泉庄乡31828人，富官庄乡29911人，三十里堡乡30557人，院东头乡27093人，泮池乡22288人，袁家庄乡22122人，新民官庄乡19369人，柴山乡18409人，王家庄子乡17188人，东于沟乡17092人，下古村乡15447人，何家庄子乡12861人。
2000年12月29日，撤销武家洼镇，将其行政区域并入沂水镇；撤销善疃乡，将其行政区域并入杨庄镇；撤销何家庄子乡，将其行政区域并入富官庄乡；撤销三十里堡乡，将其行政区域并入四十里堡镇；撤销新民官庄乡、下古村乡，将其行政区域并入诸葛镇；撤销东于沟乡、泮池乡，将其行政区域并入沙沟镇；撤销柴山乡，将其行政区域并入龙家圈乡；撤销王庄镇，将其行政区域并入夏蔚镇；撤销王家庄子乡，将其行政区域并入高庄镇；撤销袁家庄乡，将其行政区域并入许家湖镇（鲁政函民字[2000]90号）。即沂水县由15个镇、16个乡调整为13个镇、6个乡：沂水镇（武家洼镇）、四十里堡镇（三十里铺乡）、高桥镇、杨庄镇（善疃乡）、崔家峪镇、姚店子镇、许家湖镇（袁家庄乡）、黄山铺镇、高庄镇（王家庄子乡）、道托乡、富官庄乡（何家庄子乡）、马站镇、沙沟镇（泮池乡、东于沟乡）、泉庄乡、院东头乡、龙家圈乡（柴山乡）、诸葛镇（新民官庄乡、下古村乡）、夏蔚镇（王庄镇）、圈里乡。（括号内的为被撤并的乡镇）
2002年末，沂水县辖13个镇、6个乡：沂水镇、四十里堡镇、马站镇、许家湖镇、高桥镇、杨庄镇、沙沟镇、诸葛镇、黄山铺镇、崔家峪镇、夏蔚镇、高庄镇、姚店子镇、道托乡、富官庄乡、圈里乡、龙家圈乡、泉庄乡、院东头乡。（共有1219个行政村）
2009年9月21日，经省政府批准，沂水县调整部分行政区划：撤销沂水镇，设立沂城街道，办事处机关驻原沂水镇政府驻地。2010年12月5日，龙家圈乡、泉庄乡、道托乡、富官庄乡、院东头乡5个乡正式撤乡设镇。调整后，全县辖1个街道、17个镇、1个乡：沂城街道、马站镇、高桥镇、许家湖镇、黄山铺镇、姚店子镇、诸葛镇、崔家峪镇、四十里堡镇、杨庄镇、夏蔚镇、沙沟镇、高庄镇、院东头镇、龙家圈镇、富官庄镇、道托镇、泉庄镇、圈里乡。县政府驻沂城街道。
2011年11月，撤销姚店子镇，并入许家湖镇。调整后，沂水县辖1个街道、16个镇、1个乡：沂城街道、马站镇、高桥镇、许家湖镇、黄山铺镇、诸葛镇、崔家峪镇、四十里堡镇、杨庄镇、夏蔚镇、沙沟镇、高庄镇、院东头镇、龙家圈镇、富官庄镇、道托镇、泉庄镇、圈里乡。