1949年至1952年，為韋家灣村，隸屬于二區韋家灣村；1953年至1958年8月，為韋家灣村委，隸屬于韋家灣鄉；1958年9月至1961年4月，為韋家灣生產大隊，隸屬于義牒公社，大隊駐韋家灣村；1961年5月至1984年3月，從義牒公社劃分出，設立韋家灣鄉，其隸屬于韋家灣鄉；1984年4月至1999年，大隊改村民委員會，為韋家灣村民委員會，隸屬于韋家灣鄉；2000年，石樓縣撤鄉并鎮后，其隸屬于前山鄉，村委駐地辛關村；2020年5月撤前山鄉設辛關鎮，其隸屬辛關鎮；2021年8月高家山村委與韋家灣村委合并，命名韋家灣村民委員會，至今不變。