調兵山轄地唐屬燕州，遼屬黃龍府隸上京，金屬會州，清至中華民國屬鐵嶺法庫。
清光緒三十二年（1906年），設法庫門撫民廳，調兵山、大明等村鎮劃入法庫廳管轄。
全廳共分30個社。
調兵山為安全社首村，轄17個村，大明安碑為安慶社首村，轄12個村。
宣統二年（1910年），法庫廳改30個社為一城十鄉，調兵山為東一鄉，仍為鄉會所在地，大明安碑村為東二鄉，鄉會所在地為柏家溝。
民國二年（1913年），根據當時政府統一規劃各縣地方官廳組織令，法庫改廳為縣。
從此，調兵山和大明等地一直為法庫縣所轄。
大青、曉明等地則始終為鐵嶺縣的轄區。
1946年7月至1947年7月，中共遼吉一地委曾在此設置鐵法縣。
1949年建國后，調兵山市東南部區域劃為鐵嶺縣管轄，西北部區域劃為法庫縣管轄。
1981年9月，經國務院批準，劃鐵嶺縣、法庫縣的各一部分行政區域設市，因鄰近鐵嶺市和法庫縣而得名鐵法市。
1984年10月，鐵法市改為鐵嶺市鐵法區。
1986年9月，恢復鐵法市建制。
2002年2月，經國務院批準，更名為調兵山市。