玉樹古為西羌牦牛種地；魏晉南北朝時屬蘇毗王國。
隋稱“女國”，隋朝前后為蘇毗和多彌二國轄區，唐時為吐番的孫波如，宋時為黎州屬下的囊謙小邦之地，元朝歸吐蕃等路宣慰司管轄。
明屬朵甘思宣慰司，；明末清初玉樹各部頭人為青海蒙古和碩特部贈爵為諸臺吉；清朝受青海辦事大臣直接管轄，為囊謙千戶領地，下有百戶獨立長等部落。
民國初，隸青海辦事長官，旋隸蒙番宣尉使和甘邊寧海鎮守使。
1917年設玉樹事，1929年改為玉樹縣，轄今自治州全境。
設置玉樹、囊謙、稱多3縣，統由玉樹行政督督察專員公署管轄，縣之下千百戶制度因襲如故。
1951年12月21日至16日玉樹地區第一屆第一次各族各界人民代表會議在結古召開。
會議通過了建立相當于專區一級的“玉樹藏族自治區”的決議。
1955年6月23日至29日，玉樹藏族自治區人大一屆二次會議召開。
會議依照《中華人民共和國憲法》和青海省人大常委會《關于改變本省專區級，縣級民族自治區名稱和組織機構的決議》的規定，將玉樹藏族自治區更名為“玉樹藏族自治州”。