明天順年間稱小岳寺，始有小岳寺之名。
清分屬黨段圖黨湖里、陳段里，青華圖青龍里，遵化圖遵治里、安化里。
1931年分屬第七區(qū)（東洪橋）、第八區(qū)（華陂）。
1941年分屬華陂鎮(zhèn)、西洪鄉(xiāng)、武津鄉(xiāng)。
1949年分屬華陂區(qū)、東洪區(qū)、東岸區(qū)。
1950年分屬華陂區(qū)、朱里區(qū)。
1956年分屬史彭、朱里中心鄉(xiāng)。
1957年分屬華陂鄉(xiāng)、朱里鄉(xiāng)。
1958年分屬朱里、華陂人民公社。
1976年從原朱里、華陂、西洪三個人民公社各析出小岳寺、大明、西伍張、業(yè)王、望東湖、雙河、邊張、時莊、大岳寺、趙集、郭七、朱寨、陳集、坡吳、楊爐、大屯生產大隊，成立小岳寺人民公社。
1983年改稱小岳寺鄉(xiāng)。