元朝——直隸中書省
在元代，山東和河北、山西處於元大都（北京）的周圍，通稱「腹里」，直隸中書省。在元朝，中書省是總領百官的，與樞密院、御史台分掌朝廷政、軍、監察三大權力。當時是尚書省時置時廢，門下省也不再復置，因此中書省地位和前朝相比更為重要。中書省中書令通常也由皇太子擔任。中書省除為決策機構外，還負責直接管轄首都大都附近的腹里地區。所以，作為「腹里」地區的山東，實際是朝廷直轄，在山東境內分置有燕南河北道、山東東西道肅政廉訪司及山東西道宣慰司，以補中書省領導之不足。元代在今山東境內置6路、24州（其中8個直隸州）、97縣。
6路即：益都、濟南、般陽府、東平、東昌、濟寧。其中的般陽府路元初改屬濟南路，後升為淄萊路，又改為般陽府路，以古般陽縣為名。
8直隸州即：曹、德、恩、冠、濮、高唐、泰安、寧海。
明朝——山東行中書省
山東行政區正式命名為山東省是在明朝初年，距今654年了。洪武元年（1368年）置山東行中書省，此為山東建省之始。明初沿襲元制，仍設行中書省。洪武九年（1376年）改行中書省為承宣布政使司（習慣上仍稱「省」）後改為山東承宣布政使司，治所在歷城（今濟南市），轄6府、15州、89縣，形成與今山東省境大致相同的版圖，大部分縣名沿用至今。其詳情如下
濟南府 府治所在歷城縣。轄4州、15縣，領歷城、章丘、鄒平、淄川、長山、新城、齊河、齊東、濟陽、禹城、臨邑、長清、肥城、青城、陵縣等15 縣及泰安州（領新泰、萊蕪2縣）、德州（領德平、平原2縣）、武定州（領陽信、海豐、樂陵、商河4縣）、濱州（領利津、霑化、蒲台3縣）等4州。共計15+11=26個縣。
兗州府 府治所在滋陽（今兗州）縣。轄4州、11縣，領滋陽、曲阜、寧陽、鄒縣、泗水、滕縣、嶧縣、金鄉、魚台、單縣、成武等11縣及濟寧州（領嘉祥、鄆城、巨野3縣）、東平州（領汶上、東阿、平陰、陽穀、壽張5縣）、曹州（領曹縣、定陶2縣）、沂州（領郯城、費縣2縣）等4州。共計11+12=個縣。
東昌府 府治所在聊城縣。轄3州、7縣，領聊城、堂邑、博平、在平、莘縣、清平、冠縣等7縣，及臨清州（領丘縣、館陶2縣）、高唐州（領恩縣、夏津、武城3縣）、濮州（領范縣、觀城、朝城3縣）等3州。共計7+8=15個縣。
青州府 府治所在益都（今青州市）縣。轄1州、11縣，領益都、臨淄、博興、高苑、樂安、壽光、昌樂、臨朐、安丘、諸城、蒙陰等11縣及莒州（領沂水、日照2 縣）。共計11+2=13個縣。
萊州府 府治所在掖（今萊州市）縣。領掖縣及平度州（領濰縣、昌邑2縣）、膠州（領高密、即墨2縣）等2州。轄2州、1縣共計5個縣，行政區劃最少。
登州府 府治所在蓬萊縣。領蓬萊、黃縣（龍口）、福山、棲霞、招遠、萊陽等6縣及寧海州（領文登縣）。共計7個縣。