沂水縣歷史悠久，源遠流長，遠在二十萬年前即有先民居住，境內(nèi)原始社會遺址散布廣泛。
夏朝，沂水北境、東境入青州，南境入徐州。
商朝，沂水地屬人方（部落）。
西周，屬魯國。
春秋為莒國郠、鄆，后入齊，戰(zhàn)國稱蓋。
西漢置東莞縣，治今沂城，屬瑯琊郡；又別置東安縣，屬城陽國。
東漢屬瑯琊國。
三國分屬東莞、東安、陽都。
西晉末廢東安縣，東莞縣屬東莞郡。
南燕改東莞縣為團城。
南北朝先后隸屬東徐州、南青州、東安郡、莒州。
隋開皇初廢東安郡，置東安縣（治團城），開皇十六年（596年）改東安縣為沂水縣，以水得名，屬沂州瑯琊郡。
唐武德五年（622年），沂水縣屬莒州。
唐貞觀八年（634），廢莒州，沂水縣又屬沂州瑯琊郡，五代十國、宋仍屬之。
金、元屬莒州，明初屬莒州，明洪武九年（1376），改屬青州，清雍正八年（1730）再屬莒州，十二年（1734）又改屬沂州府。
民國初，先后屬岱南、濟寧、瑯琊道。
1928年裁道，直屬山東省。
1936年屬省第三行政區(qū)。
1940年3月，沂水縣抗日民主政府成立，直屬中共中央山東分局。
1941年2月，屬魯中行政區(qū)沂蒙專區(qū)。
因戰(zhàn)爭形勢變化，沂水縣劃分為南沂蒙、北沂蒙，后又劃為沂臨邊聯(lián)縣、沂南縣、莒沂邊縣、沂中縣、沂北縣、沂東縣、沂源縣。
1950年5月，屬沂水專區(qū)。
1953年8月，沂水專區(qū)并入臨沂專區(qū)，沂水縣屬之。
1967年，沂水縣屬臨沂地區(qū)。
1994年，建立臨沂市，縣仍屬之。