南宋嘉泰元年（1201年），分屬山陰、會稽兩縣。
元、明、清時，屬山陰縣。
民國元年（1912年），屬紹興縣。
民國十七年（1928年），改屬紹興縣第一區。
民國二十一年（1932年），置繩初鄉、林頭鄉、沿江鄉。
民國二十九年（1940年）9月，改為繩港鄉、東合北鄉、玉橫鄉。
民國三十五年（1946年）9月，繩港鄉改設朱梅鎮，東合北鄉改設靈芝鄉。
1950年3月，玉橫鄉歸入齊賢區，靈芝鄉、朱梅鎮分設靈芝、水利、梅山、朱梅4個鄉。
1956年3月，4個鄉合設梅山鄉。
1958年，梅山鄉并入鑒湖公社。
1961年9月，分設靈芝公社、梅山公社。
1983年10月，靈芝公社、梅山公社改鄉，同年歸入越城區。
2001年7月，梅山鄉、靈芝鄉（除北海、西郭、青甸湖3個村外）合并為靈芝鎮。
2003年1月，齊賢鎮七里江等15個村劃入靈芝鎮。
2017年，經浙江省人民政府批準，撤銷靈芝鎮，設立越城區靈芝街道。