1935年至建國初屬蟠龍鄉轄，1958年為蟠龍公社，村名為柏香林大隊，屬蟠龍公社轄。
1978年將新振、南屏公社的兩個大隊并入本公社，村名為柏香林大隊，屬蟠龍公社轄。
1980年恢復原建置（分出新振公社另置）仍為蟠龍公社，村名為柏香林大隊，屬蟠龍公社轄。
1984年公社改鄉時，蟠龍公社恢復蟠龍鄉名稱。
村名更改為柏香林村。
屬蟠龍鄉轄。
1992年撤鄉并鎮，將新振鄉并入蟠龍鄉，村名為柏香林村，屬蟠龍鄉轄。
2019年8月鄉鎮鄉鎮區劃調整，撤銷蟠龍鄉，將其所屬行政區域劃歸夕佳山鎮管轄，原蟠龍鄉柏香林村更名為夕佳山鎮柏香村。