潭山鎮位于宜豐縣境北部，地處東經114042′—114049′、北緯28032′—28040′之間。東、南與天寶鄉相連，西同雙峰、黃崗兩鄉毗鄰，北和銅鼓、修水、奉新三縣接壤。東西寬約20公里，南北長約21公里，全鎮鎮域面積205平方公里，總人口14785人。鎮人民政府所在地潭山集鎮，距縣城23公里。
潭山街之南有一座小山，早先伏溪水從山下經過，匯成一個深潭，山在潭岸上，故名潭山。宋朝以前，這里本是一片蘆茅洲，并無村落，人們散居在東北茜槽一帶山莊里。南宋時，岳飛率部抗金，轉戰此間，茜槽一帶村莊被金兵破壞。后來有一族劉姓居民，遷移到這里，從此潭山就有了一個小小的市鎮，叫奧米市（在今陳家祠堂前面）。清末民初之時，市鎮漸次移至今址，市鎮名稱也因而轉名潭山。從宋建新昌縣始，潭山歷史上都隸屬天寶鄉，1930年2月，全縣劃為7個區，潭山各地屬第二區。1932年3月，實行保甲制度，潭山分設第三、第四保聯。1939年2月，廢保聯設鄉鎮，潭山境內設立龍崗鄉和潭山鎮，隸屬第四區。1941年1月潭山鎮改名潭山鄉，管轄范圍照原。1946年7月，潭山、龍崗2鄉合并，稱為慶凱鄉，下設10保100甲，其轄管范圍與今鎮轄范圍相同。1949年8月，建立潭山區人民政府，轄管今之潭山鎮和天寶鄉。1956年撤區并鄉，境內建立潭山鄉和石橋鄉。中間幾經變動，至1983年12月復稱潭山鄉，1985年6月改名潭山鎮。2005年底，全鎮下轄潭山、伏溪、坪上、上山田、茜槽、店上、龍崗、石橋、漢塘、找橋、逍遙、院前、中興13個行政村，羊源林場、碓下綜合開發公司2個村級單位，1個居委會，1個潭農公司，村民小組132個，自然村283個。
潭山鎮森林茂密，水川縱橫，資源豐富，氣候溫和，土質肥沃，是個“七山半水分半田，一分道路和莊園”的江南山區鎮。2005年底，全鎮共有耕地面積18961畝，其中水田18389畝，旱地572畝，主要經濟作物為水稻、藥材、油菜等。境內森林資源豐富，杉竹并茂，雜樹間生，全鎮有森林面積17.6萬畝，木材蓄積量達38.6萬立方米，毛竹蓄積量1800萬根。境內礦產資源豐富。主要礦產品有鉀長石、石英石、綠桂、白云母、瓷土、釉土，同時還有泥炭礦、花崗巖石礦、粘土礦、溫泉礦等礦種。.