所轄范圍于明清期間已有自然村落形成。
嘉慶九年（1804年）屬天門縣云潭鄉(xiāng)宵城里文墩中團(tuán)。
道光元年（1821年）屬云潭村三里文墩中團(tuán)。
民國35年（1946年）為四區(qū)。
民國36年（1947年）6月屬皂市區(qū)平等鄉(xiāng)。
1949年6月由解放區(qū)京應(yīng)縣隨皂市區(qū)劃歸天門縣。
1951年屬李場鄉(xiāng)。
1955年屬九真區(qū)長壽鄉(xiāng)。
1958年人民公社化時(shí)屬九真人民公社團(tuán)山大隊(duì)。
1975年1月撤區(qū)并社，屬李場公社。
1984年設(shè)區(qū)建鄉(xiāng)屬李場區(qū)長壽鄉(xiāng)，原名稱團(tuán)山大隊(duì)變更為團(tuán)山村。
1987年區(qū)鄉(xiāng)體制改革后屬李場鎮(zhèn)。
2001年與皂市鎮(zhèn)合并屬皂市鎮(zhèn)團(tuán)山村村民委員會(huì)至今。