清乾隆、宣統《臨安縣志》均有桃源地名記載。
因源里有南北兩塢，森林茂密，水源流長，昔多桃樹，故名。
南宋咸淳間（1265～1274）屬臨安縣平東鄉，明代屬奉東鄉，清乾隆二十四年（1759）桃源、祝家橋、桑園畈屬奉東二圖。
民國初屬新奉鄉，民國17年（1928）屬新奉區，民國30年（1941）屬東阜鄉，民國34年（1945）屬南屏鄉至解放。
1950年為板橋鄉祝家村，1956年為祝家橋高級社，1958年為亭子公社祝家生產隊，1961年為板橋公社里桃、外桃、祝家大隊，1984年為板橋鄉里桃、外桃、祝家村。
2007年村規模調整，三村合并為桃源村，轄10個自然村。
2011年1月為板橋鎮桃源村。