春秋為魯中都邑地。
戰國齊置平陸邑。
秦屬薛郡。
西漢置東平陸縣。
南朝宋改名平陸縣，又于其西置平原縣，于故中都置樂平縣。
北齊徙平原縣離境，省平陸縣入樂平縣。
隋開皇十六年(596)改樂平為平陸。
唐天寶元年(742)改名中都縣。
金貞元元年(1153)改為汶陽縣。
泰和八年(1208)改汶陽縣為汶上縣。
沿用至今。
明屬兗州府東平州。
清屬兗州府。
1914年屬濟寧道。
1925年屬兗濟道。
1928年屬省。
1936年屬第一行政督察區。
1939年建立抗日民主政權，先后屬魯西行政區泰西專區(1940)、冀魯豫行政區第二專區(1941)。
同年9月因形勢惡化，汶上縣抗日民主政府轉移，至1943年2月重建汶上縣抗日民主政府，屬晉冀魯豫第十七專區；1948年屬魯中南行政區第七專區。
1950年屬泰安專區。
1953年屬濟寧專區。
1967年屬濟寧地區。
1983年屬泰安地區。
1985年屬濟寧市。