西周為莒都計，秦置黔陬縣。北魏置膠縣。因境內膠水而得名。《水經注》：“膠水出膠山北，縣因以名。”《圖經》云：水色如膠，北流三百里入海。隋廢黔陬縣，其地并入膠西縣。唐廢膠西縣入高密縣，元置膠州治膠西。明以膠州轄膠西、即墨3縣，清升為直隸州。民國2年改為膠縣。1978年11月，將昌濰地區的膠縣劃歸青島市管轄。1987年2月12日，撤銷膠縣，設立膠州市。

　　1988年1月10日，撤銷膠城鎮、大莊鄉和三官廟鄉，設立阜安、中云、北關和南關4個街道辦事處。
　　1993年9月11日，設立云溪街道辦事處，將阜安街道辦事處的鄭家小莊村和振華、興華、豐華居委會，小麻灣鎮的東石河、西石河、李家河、周家灘、大西莊村，共3個居委會、6個村劃歸云溪街道辦事處管轄；河西郭鄉政府駐地由河西郭村遷至董城村，河西郭鄉更名為董城鄉；撤銷西祝村鄉，設立膠西鎮；撤銷張家屯鄉，設立張家屯鎮；撤銷里岔鄉，設立里岔鎮；撤銷冷家村鄉，設立洋河鎮；撤銷夼集鄉，設立九龍鎮。　　1996年，膠州市面積1210平方千米（其中城區面積108平方千米），人口72.6萬。轄5個街道、13個鎮、4個鄉：阜安街道、中云街道、北關街道、南關街道、云溪街道、膠東鎮、李哥莊鎮、北王珠鎮、馬店鎮、膠西鎮、苑戈莊鎮、張應鎮、鋪集鎮、張家屯鎮、里岔鎮、洋河鎮、九龍鎮、營海鎮、前店口鄉、后屯鄉、南杜村鄉、董城鄉。市府駐阜安街道。
　　2000年第五次人口普查，全市總人口783478人，其中：阜安街道75733人、中云街道60817人、北關街道39233人、南關街道40065人、云溪街道20179人、膠東鎮35220人、李哥莊鎮58734人、北王珠鎮41282人、馬店鎮37084人、膠西鎮40835人、苑戈莊鎮18598人、張應鎮31289人、鋪集鎮37939人、張家屯鎮22442人、里岔鎮29193人、洋河鎮34519人、九龍鎮28498人、營海鎮34380人、前店口鄉25322人、后屯鄉30394人、南杜村鄉21403人、董城鄉20319人。
　　2001年2月，撤銷前店口鄉、膠東鎮，設立新的膠東鎮；撤銷張家屯鎮、鋪集鎮，設立新的鋪集鎮；撤銷苑戈莊鎮、膠西鎮，設立新的膠西鎮；撤銷董城鄉、洋河鎮，設立新的洋河鎮（魯政函民字[2001]5號）。
　　截至2001年12月31日，全市總面積1210平方千米。總人口76.03萬人，其中非農業人口14.51萬人。轄5個街道（阜安、中云、北關、南關、云溪）、11個鎮（北王珠、馬店、李哥莊、膠東、營海、鋪集、張應、膠西、九龍、洋河、里岔）、2個鄉（后屯、南杜村），53個居委會、811個村委會（另一數據為：878個村委會、居委會）。
　　2002年6月19日，省政府批復同意：撤銷南杜村鄉，設立杜村鎮；撤銷后屯鄉，設立膠北鎮。以上2鄉撤鄉設鎮后，其行政區域和人民政府駐地不變。
　　截至2002年12月31日，全市總面積1210平方千米。總人口76.34萬人，其中非農業人口14.89萬人。轄5個街道（阜安、中云、北關、南關、云溪）、13個鎮（北王珠、馬店、李哥莊、膠東、營海、鋪集、張應、膠西、九龍、洋河、里岔、膠北、杜村），54個社區、811個村委會（另一數據為：823個村委會、居委會）。
　　2003年4月1日，北王珠鎮更名為膠萊鎮。截至2003年12月31日，全市總面積1210平方千米。總人口76.5萬人，其中非農業人口15.3萬人。轄5個街道（阜安、中云、北關、南關、云溪）、13個鎮（膠萊、馬店、李哥莊、膠東、營海、鋪集、張應、膠西、九龍、洋河、里岔、膠北、杜村），872個村委會（居委會）。
　　2004年底，阜安街道：面積12.9平方千米，轄28個居（村）委會、7.5萬人。中云街道：面積19.6平方千米，轄32個居（村）委會、6.2萬人。北關街道：面積35平方千米，轄28個村（居）委會、2.99萬人。南關街道：面積33.7平方千米，轄31個行政村和1個居委會、3.47萬人。云溪街道（山東省膠州經濟開發區）：面積30平方千米，轄7個行政村和3個居委會、1.6萬人。膠東鎮：面積90平方千米，轄53個村（居）委會、5.5萬人。李哥莊鎮：面積75平方千米，轄43個村（居）委會、6萬人。膠萊鎮：面積85平方千米，轄69個行政村、4.3萬人。馬店鎮：面積75平方千米，轄49個行政村、3.8萬人。膠北鎮：面積73平方千米，轄46個行政村、3.2萬人。膠西鎮：面積112平方千米，轄73個行政村、6.1萬人。杜村鎮：面積67平方千米，轄41個行政村、2.4萬人。張應鎮：面積82.7平方千米，轄48個行政村、3.2萬人。鋪集鎮：面積122平方千米，轄69個行政村、5.92萬人。里岔鎮：面積74.27平方千米，轄53個行政村、3.2萬人。洋河鎮：面積128.7平方千米，轄84個行政村、5.8萬人。九龍鎮：面積72平方千米，轄50個行政村、2.9萬人。營海鎮：面積121平方千米，轄47個行政村、3.4萬人。（數據來源于《青島年鑒2005版》）
　　2008年，全市轄5個街道、13個鎮：阜安街道、中云街道、北關街道、南關街道、云溪街道、膠萊鎮、馬店鎮、李哥莊鎮、營海鎮、鋪集鎮、張應鎮、里岔鎮、膠東鎮、膠西鎮、洋河鎮、九龍鎮、杜村鎮、膠北鎮。市政府駐南關街道。
　　2009年8月24日，經省政府批準，膠州市調整部分行政區劃：撤銷營海鎮，設立營海街道辦事處，辦事處機關駐原鎮政府駐地。撤銷膠東鎮，設立膠東街道辦事處，辦事處機關駐原鎮政府駐地。南關街道辦事處更名為三里河街道辦事處。