南宋咸淳間（1265～1274）屬於潛縣潛川鄉(xiāng)，明初屬潛川后鄉(xiāng)，清嘉慶十七年（1812）西樂莊屬潛川后鄉(xiāng)。
民國初期屬紫溪鄉(xiāng)，民國21年（1932）屬樂平鄉(xiāng)，民國27年（1938）屬紫云鄉(xiāng)，民國36年（1947）屬紫云鄉(xiāng)至解放。
1950年為西樂鄉(xiāng)西樂村，1958年為昌化縣潛川公社樂平管理區(qū)西樂生產(chǎn)隊(duì)，1960年9月屬臨安縣，1961年為潛川公社西樂生產(chǎn)大隊(duì)，1972年為樂平公社西樂大隊(duì)，1984年為樂平鄉(xiāng)西樂村。
2007年村規(guī)模調(diào)整，西樂村規(guī)模不變，轄6個自然村。
2011年1月為潛川鎮(zhèn)西樂村。