嶺下村由原嶺下村與霞山村合并而成。
中華人民共和國成立前兩地均屬大洞保。
中華人民共和國成立初屬大洞鄉；合作社時期，霞山設民英初、高級社，嶺下設明升初、高級社；1958年分別成立霞山大隊屬泮逕公社，嶺下大隊屬富城公社；1968年霞山改屬富城公社大洞大隊；1970年霞山從大洞分出與泮塘公社合并為泮塘大隊；1976年又分開，設霞山大隊、泮塘大隊，均屬富城公社。
1984年實行鄉村建制，霞山、嶺下改為村屬富城鄉。
2003年霞山村并入嶺下村，仍屬富城鄉至今。