春秋時稱啟陽，西漢為開陽，東漢屬瑯琊國，隋置臨沂縣。明洪武初撤臨沂縣入州，清雍正十二年稱蘭山縣。民國2年稱臨沂縣，1958年稱臨沂市，1963年改稱臨沂縣，1983年恢復(fù)臨沂市。
1994年12月17日，撤銷臨沂地區(qū)和縣級臨沂市，設(shè)立地級臨沂市。臨沂市設(shè)立蘭山區(qū)、羅莊區(qū)和河?xùn)|區(qū)。蘭山區(qū)轄蘭山、金雀山、銀雀山3個街道辦事處和白沙埠鎮(zhèn)、義堂鎮(zhèn)、大嶺鎮(zhèn)、李官鄉(xiāng)、半程鎮(zhèn)、棗溝頭鎮(zhèn)、南坊鄉(xiāng)、朱保鄉(xiāng)、馬廠湖鄉(xiāng)。區(qū)人民政府駐原縣級臨沂市人民政府駐地。
1984年4月，城關(guān)鎮(zhèn)劃分為金雀山、銀雀山、蘭山3個辦事處。1993年9月8日，撤銷大嶺鄉(xiāng)，設(shè)立大嶺鎮(zhèn)；撤銷南坊鄉(xiāng)，設(shè)立南坊鎮(zhèn)。1994年9月7日，撤銷半程鄉(xiāng)、棗溝頭鄉(xiāng)，設(shè)立半程鎮(zhèn)、棗溝頭鎮(zhèn)。1996年初，蘭山區(qū)面積650平方千米，人口52萬，轄3個街道6鎮(zhèn)3鄉(xiāng)。區(qū)政府駐蘭山街道。1996年12月29日，撤銷馬廠湖鄉(xiāng)，設(shè)立馬廠湖鎮(zhèn)（魯政函民字[1996]64號）。至此，蘭山區(qū)轄3個街道、7個鎮(zhèn)、2個鄉(xiāng)。
1999年，蘭山街道轄21個行政村，12419戶35868人；金雀山街道轄8個行政村，5222戶16001人；銀雀山街道轄12個行政村，11454戶34795人；馬廠湖鎮(zhèn)轄21個行政村，8633戶32948人；朱保鄉(xiāng)轄33個行政村，9920戶36179人；棗溝頭鎮(zhèn)轄54個行政村，14819戶53913人；半程鎮(zhèn)轄51個行政村，12559戶43142人；白沙埠鎮(zhèn)轄50個行政村，15019戶52813人；大嶺鎮(zhèn)轄51個行政村，20326戶79283人；李官鄉(xiāng)轄49個行政村，12140戶37851人；南坊鎮(zhèn)轄55個行政村，19178戶74038人；義堂鎮(zhèn)轄35個行政村，14640戶51998人。（數(shù)據(jù)來源：《臨沂市2000年統(tǒng)計年鑒》）
2000年4月19日，將大嶺鎮(zhèn)前欽宿、后欽宿、葛家王平莊、曹家王平莊、蔣家王平莊、八里屯、小官路、西張莊、毛家莊、溝上、前韋家屯、后韋家屯、韋家屯等13個村劃歸蘭山街道辦事處管轄（魯政函民字[2000]30號）。2000年第五次人口普查，全區(qū)總?cè)丝?38159人，其中：蘭山街道213102人、銀雀山街道137696人、金雀山街道100017人、南坊鎮(zhèn)74887人、白沙埠鎮(zhèn)56121人、棗溝頭鎮(zhèn)58921人、半程鎮(zhèn)47517人、大嶺鎮(zhèn)71249人、義堂鎮(zhèn)61022人、馬廠湖鎮(zhèn)33237人、李官鄉(xiāng)41701人、朱保鄉(xiāng)42689人。
2000年，蘭山街道轄34個行政村，18333戶48478人；金雀山街道轄8個行政村，5473戶16325人；銀雀山街道轄12個行政村，11433戶33845人；馬廠湖鎮(zhèn)轄21個行政村，8909戶29332人；朱保鄉(xiāng)轄33個行政村，10533戶36522人；棗溝頭鎮(zhèn)轄54個行政村，15620戶54799人；半程鎮(zhèn)轄51個行政村，12711戶43329人；白沙埠鎮(zhèn)轄50個行政村，15294戶52813人；大嶺鎮(zhèn)轄38個行政村，16986戶60600人；李官鄉(xiāng)轄49個行政村，12140戶37851人；南坊鎮(zhèn)轄55個行政村，19278戶74138人；義堂鎮(zhèn)轄35個行政村，15496戶52302人。（數(shù)據(jù)來源：《臨沂市2001年統(tǒng)計年鑒》）
2001年，蘭山區(qū)由3個街道、7個鎮(zhèn)、2個鄉(xiāng)調(diào)整為3個街道、6個鎮(zhèn)、2個鄉(xiāng)：蘭山街道、金雀山街道、銀雀山街道、義堂鎮(zhèn)、白沙埠鎮(zhèn)、南坊鎮(zhèn)、棗溝頭鎮(zhèn)、半程鎮(zhèn)、馬廠湖鎮(zhèn)、李官鄉(xiāng)、朱保鄉(xiāng)。蘭山街道轄72個行政村，32925戶110467人；金雀山街道轄8個行政村，5048戶16084人；銀雀山街道轄12個行政村，8540戶26490人；馬廠湖鎮(zhèn)轄21個行政村，10031戶33501人；朱保鄉(xiāng)轄33個行政村，10010戶36719人；棗溝頭鎮(zhèn)轄54個行政村，15895戶55792人；半程鎮(zhèn)轄51個行政村，13025戶43574人；白沙埠鎮(zhèn)轄50個行政村，16387戶56612人；李官鄉(xiāng)轄49個行政村，12604戶37961人；南坊鎮(zhèn)轄55個行政村，19162戶72278人；義堂鎮(zhèn)轄35個行政村，13854戶45365人。（數(shù)據(jù)來源：《臨沂市2002年統(tǒng)計年鑒》）
2002年3月22日，省政府批復(fù)同意：撤銷朱保鄉(xiāng)，設(shè)立朱保鎮(zhèn)，其行政區(qū)域和人民政府駐地不變；撤銷李官鄉(xiāng)，設(shè)立李官鎮(zhèn)，其行政區(qū)域和人民政府駐地不變。至此，蘭山區(qū)轄3個街道、8個鎮(zhèn)。
2002年，蘭山街道轄72個行政村、18個居委會，33728戶112211人，面積90.91平方千米，鎮(zhèn)區(qū)人口3010人；銀雀山街道轄12個行政村、8個居委會，8711戶27810人，面積17.13平方千米，鎮(zhèn)區(qū)人口2884人；金雀山街道轄8個居委會，5223戶16117人，面積15.26平方千米，鎮(zhèn)區(qū)人口4528人；南坊鎮(zhèn)轄55個行政村，19691戶72818人，面積56.31平方千米，鎮(zhèn)區(qū)人口7199人；白沙埠鎮(zhèn)轄50個行政村，15748戶57109人，面積70.26平方千米，鎮(zhèn)區(qū)人口4592人；棗溝頭鎮(zhèn)轄54個行政村，16178戶56803人，面積64.46平方千米，鎮(zhèn)區(qū)人口7216人；半程鎮(zhèn)轄51個行政村，13070戶44108人，面積81.34平方千米，鎮(zhèn)區(qū)人口23760人；義堂鎮(zhèn)轄35個行政村，15614戶52727人，面積53.17平方千米，鎮(zhèn)區(qū)人口39938人；馬廠湖鎮(zhèn)轄21個行政村，9097戶30376人，面積69.86平方千米，鎮(zhèn)區(qū)人口6202人；李官鎮(zhèn)轄49個行政村，12649戶37658人，面積82.86平方千米，鎮(zhèn)區(qū)人口5063人；朱保鎮(zhèn)轄33個行政村，10031戶36716人，面積48.81平方千米，鎮(zhèn)區(qū)人口17182人。合計：440個行政村，159740戶544453人，面積650.37平方千米，鎮(zhèn)區(qū)人口121574人。（數(shù)據(jù)來源：《臨沂市2003年統(tǒng)計年鑒》。注：該年鑒“分縣區(qū)年末戶數(shù)、人口數(shù)”中蘭山區(qū)是241876戶856157人）
2003年1月17日，省政府批復(fù)同意撤銷南坊鎮(zhèn)，以原南坊鎮(zhèn)的行政區(qū)域設(shè)立南坊街道，辦事處駐原南坊鎮(zhèn)政府駐地。2003年5月13日，省政府批復(fù)同意將費縣汪溝鎮(zhèn)石家莊、東石溝、西石溝、后社、三勝莊、永太莊、任家莊等7個村劃歸臨沂市蘭山區(qū)半程鎮(zhèn)管轄。2011年，將費縣新橋鎮(zhèn)、方城鎮(zhèn)、汪溝鎮(zhèn)整建制劃歸蘭山區(qū)管轄；11月，撤銷朱保鎮(zhèn)，并入義堂鎮(zhèn)；撤銷新橋鎮(zhèn)，并入方城鎮(zhèn)；將汪溝鎮(zhèn)山水口村、小湖村、小柳汪村3個行政村劃歸半程鎮(zhèn)管轄。調(diào)整后，蘭山區(qū)面積886平方千米，轄4個街道、8個鎮(zhèn)：蘭山街道、銀雀山街道、金雀山街道、南坊街道、白沙埠鎮(zhèn)、棗溝頭鎮(zhèn)、半程鎮(zhèn)、義堂鎮(zhèn)、馬廠湖鎮(zhèn)、李官鎮(zhèn)、方城鎮(zhèn)、汪溝鎮(zhèn)。區(qū)政府駐蘭山街道。