漢代前期屬于闐國。
漢神爵三年（前59），西漢在西域設立西域都護府。
于闐等三十六國歸屬漢王朝。
魏晉南北朝時期，今墨玉縣境為于闐西城所在地。
唐隸毗沙都督府。
北宋屬喀喇汗王朝。
南宋屬西遼。
元屬斡端宣慰司都元帥府管轄。
14世紀初，屬察合臺汗國。
清乾隆二十四年（1759）屬和闐辦事大臣管轄。
清光緒九年（1883）屬和闐直隸州。
1913年改和闐直隸州為和闐縣，屬和闐縣管轄。
1919年墨玉縣自和闐縣析置，縣治喀拉喀什。
1920年改隸和闐道。
1928年，屬和闐行政長公署管轄。
1950年屬和闐專員公署管轄，全縣下設13個區、82個鄉。
1956年，將13個區調整成11個區。
1958年又調整為8個公社。
1979年6月，墨玉縣屬和田地區行政公署管轄。