夏、商為萊夷之域，周初，東有莒、西有介，莒南遷后為計。
《膠州志、大事記》載：“周武王十三年（己卯）都于計”（計，即計斤，在今膠州南關城子村）。
秦，置黔陬縣。
公元529年（北魏孝莊帝永安二年）始置膠州，"領東武、高密、平昌三郡，治東武陵，以膠州名始此"（《學古編》），此時治所在今諸城市。
隋，立膠西縣。
唐，設板橋鎮。
宋，復立膠西縣。
至蒙古太祖二十二年（1227年）置膠州于膠西縣，領膠西、高密、即墨，即現在的膠州市。
至明清，均稱膠州。
民國二年（1913年）改膠州為膠縣，1987年2月12日國務院（1987）26號文件“撤銷膠縣，設立膠州市”。