民國初期，沿襲清制，武威縣的行政管理區(qū)按水系劃分為六個渠，即黃渠（黃羊河水系）、大渠（雜木河上游）、雜渠（雜木河下游）、金渠（金塔河水系）、懷渠（西營河上游）、永渠（西營河下游）。
民國24年（1935），將六個行政管理區(qū)劃分為2個鎮(zhèn)、12個鄉(xiāng)，屬古城鄉(xiāng)六畦保。
中華人民共和國成立初屬古城區(qū)一鄉(xiāng)二行政。
1956年撤區(qū)并鄉(xiāng)為古城鄉(xiāng)祁連高級社。
1958年人民公社化時屬古城公社，命名為祁連大隊。
1980年更名為祁山大隊。
1983年撤社改鄉(xiāng)時設(shè)祁山村民委員會，屬古城鄉(xiāng)。
2002年撤鄉(xiāng)改鎮(zhèn)，屬古城鎮(zhèn)所轄。