晉至宋稱漁浦，宋至明為詠歌鄉靈峰里（圖、村）。
清康熙十二年（1673），為江南詠歌鄉靈峰里。
清光緒年間（1875—1908），為東南區，狐嶺北墅溪區域為八角十四莊，漁溪區域為八角十三莊。
宣統二年（1910）后，與里山區域合并為漁鯉鄉。
民國初承沿清制。
1935年后，與里山析分，取原漁溪、墅溪之首字，為大源區漁墅鄉。
1950年，以狐嶺下為界，北部沿江區域設漁溪鄉，南部設五嶺鄉。
1950年6月23日，杭縣東清鄉小沙村劃入漁溪鄉。
1956年，二鄉合并為漁山鄉。
1958年10月1日，與里山合并建東風人民公社。
1960年1月，并入太平大公社，為里山管理區。
1961年7月，撤太平大公社，析建里山人民公社。
1962年6月，又從里山公社析出建漁山公社。
1984年3月，改公社為鄉。
2007年12月，五豐村劃出歸入東洲街道。