1914年屬中區，1930年屬第八區。
1949年屬第六督導區。
1950年屬第一區。
1953年屬第八區。
1958年公社時代，建立大隊，屬孫家壩公社管轄。
1981年屬孫家壩區的涼水井公社管轄。
1984年社改鄉，將原城關區的河東、磨溪、龍江，鸚鵡溪區的關口、孫家壩區的涼水井、磨石溪、息樂溪7個鄉劃歸涼水井區，建立涼水井鄉、息樂溪鄉、磨石溪鄉、磨溪鄉、關口鄉5個鄉，屬涼水井區的涼水井鄉管轄。
1992年2月，貴州省人民政府批準思南縣進行“建鎮并鄉撤區”工作，同年10月，撤銷涼水井苗族土家族鄉、息樂溪土家族苗族鄉、磨石溪土家族苗族鄉、磨溪鄉、關口土家族苗族鄉，合并建立涼水井鎮，轄原三個鄉的共30個行政村，屬涼水井鎮管轄。
2007年4月，縣人民政府下達《關于撤小村并大村整合的批復》，全縣開展撤小村并大村工作，把全縣561個村合并成168個村，涼水井鎮轄關口、水晶、磨溪、張家坳、息樂溪、謝家寨、涼水井、胡家莊、磨石溪9個行政村，其中，涼水井村由茶山村、紅巖底村、涼山村合并而成。
2010年11月16日，思南縣人民政府批準調整全縣行政區劃，同意思唐鎮等27個鄉鎮行政村（社區）調整設置為行政村489個，社區37個。
涼水井鎮由原30個行政村調整設置為29個行政村，1個社區，涼水井社區成立，屬涼水井鎮管轄。