西周境內(nèi)有禹國及魯國啟陽、中邱等邑。
啟陽，乃今臨沂城最早名稱。
春秋末期為魯國地。
戰(zhàn)國后期歸楚國。
秦為啟陽縣，屬郯郡。
西漢時，為避景帝劉啟諱，啟陽易名為開陽。
元封五年（前106），在今城北白沙埠鎮(zhèn)境內(nèi)的諸葛城置臨沂縣、即丘縣，與開陽縣均屬徐州東�？�。
東漢建初五年（80），置瑯琊國于開陽。
北魏中期，瑯琊國改作瑯琊郡。
永安二年（529），為北徐州治所。
南朝宋移郡治于即丘，有臨沂、開陽二縣。
隋大業(yè)初年（605），將開陽、臨沂、即邱3個縣合并為臨沂縣，治今臨沂城。
唐武德四年（621年），在今郯城縣褚墩鎮(zhèn)西南部之蘭山腳下置蘭山縣，武德六年蘭山縣撤銷，轄境并入臨沂縣版圖（據(jù)《方輿紀(jì)要》）。
北宋時，屬沂州瑯琊郡。
爾后金、元、明、清幾朝，皆沿用沂州之稱。
明初，臨沂縣撤銷入沂州（即以州代縣）。
清雍正十二年（1734），沂州改稱府，府治周圍地區(qū)設(shè)縣，名為蘭山縣。
民國二年（1913）沂州府撤銷，蘭山縣恢復(fù)臨沂縣之稱。
新中國成立后，臨沂縣于1958年12月至1963年3月期間改稱臨沂市，后又稱為縣。
1983年9月，國務(wù)院批準(zhǔn)恢復(fù)臨沂市，為山東省轄縣級市。
1994年12月17日，國務(wù)院同意原縣級臨沂市撤銷，其原轄行政區(qū)域內(nèi)設(shè)置蘭山區(qū)、羅莊區(qū)、河?xùn)|區(qū)3個縣級行政區(qū)。
蘭山區(qū)轄蘭山、金雀山、銀雀山3個辦事處，義堂、大嶺、南坊、棗溝頭、白沙埠、半程6個鎮(zhèn)，李官、朱保、馬廠湖3個鄉(xiāng)。
1997年3月，馬廠湖撤鄉(xiāng)設(shè)鎮(zhèn)。
2001年6月，大嶺鎮(zhèn)撤銷，所轄38個行政村并入蘭山辦事處。
2002年1月，蘭山辦事處、銀雀山辦事處、金雀山辦事處分別改稱蘭山街道辦事處、銀雀山街道辦事處、金雀山街道辦事處。
3月，朱保、李官撤鄉(xiāng)設(shè)鎮(zhèn)。
截至2002年12月，全區(qū)下設(shè)3個街道辦事處，8個鎮(zhèn)。
2003年1月，撤銷南坊鎮(zhèn)，設(shè)立南坊街道辦事處。
截至2003年12月，全區(qū)下設(shè)4個街道辦事處，7個鎮(zhèn)。
2011年1月經(jīng)山東省人民政府批準(zhǔn)，將費縣新橋鎮(zhèn)、方城鎮(zhèn)、汪溝鎮(zhèn)劃歸蘭山區(qū)管轄。
2011年8月經(jīng)山東省人民政府批準(zhǔn)，撤銷朱保鎮(zhèn)，將其原行政區(qū)域并入義堂鎮(zhèn)；撤銷新橋鎮(zhèn)，將其原行政區(qū)域并入方城鎮(zhèn)。
截至2022年3月，全區(qū)下設(shè)4個街道，8個鎮(zhèn)。