宋時甘霖鎮屬桃源鄉。
清康熙時稱兩頭門鎮。
宣統三年（1911）實行地方自治制，甘霖與蒼巖合稱為霖蒼鎮。
民國元年，霖蒼鎮下轄桃源、白鶴、方升、平義四區，甘霖屬桃源鄉。
1946年甘霖從桃源鄉分出為甘霖鎮。
1956年以甘霖吳家田村建制甘霖鎮，1958年為甘霖人民公社桃源管理區；1961年為桃源人民公社；1981年1月經省人民政府批準設建制鎮，1992年撤區擴鎮并鄉，原剡北普義，蛟鎮鄉并入甘霖鎮。
2001年12月原博濟、蒼巖與甘霖合并為甘霖鎮。