榆樹境內4萬多年前即有原始人群生息繁衍。
在古代，榆樹曾是鮮卑、契丹、女真等部族活動的區域。
西漢時屬穢貊族夫余國。
東漢時先隸于元菟郡，后歸遼東郡。
北魏太和十七年（493年），勿吉族滅扶余國，榆樹為勿吉族伯咄部。
隋屬伯咄靺鞨。
唐初為室韋達姤部地，隸于室韋都督府。
先天二年（713年），屬渤海國扶余府。
遼屬東京道寧江州。
金屬上京肇州路。
元屬開原路屯田萬戶府。
明為努兒干都司撤叉河衛。
清康熙二十一年（1682年），榆樹隸屬于吉林將軍。
康熙三十一年（1692年），移吉林副都統于伯都訥，榆樹為伯都訥屬境。
嘉慶十六年（1811年），設伯都訥廳理事同知。
光緒八年正月二十八日（1882年3月17日），伯都訥廳衙門由伯都訥城遷至孤榆樹屯（現榆樹市），改理事同知為撫民同知。
光緒三十二年正月二十二日（1906年2月15日），伯都訥廳升府，移府衙門于新城（今松原市寧江區），在孤榆樹屯地方設立榆樹縣。
宣統元年四月十五日（1909年6月2日），榆樹縣改為榆樹直隸廳，隸于吉林省西北路分巡兵備道。
1913年3月改稱榆樹縣，隸于吉林省濱江道。
東北淪陷時期榆樹縣隸于吉林省。
1946年1月1日成立榆樹縣民主政府。
5月22日改稱榆樹縣人民政府，隸于吉北專署。
1947年2月，劃出黑林、秀水區和大坡村，舒蘭縣劃出法特區成立榆南縣，隸于吉北專署。
1947年11月撤銷榆南縣，黑林、秀水、大坡復歸榆樹縣。
1948年6月22日，撤銷吉北專署，榆樹為吉林省直轄縣。
1955年12月，榆樹縣人民政府改稱為榆樹縣人民委員會。
1956年7月3日，榆樹縣隸于吉林省懷德專署，10月6日，懷德專署改為公主嶺專署。
1958年10月23日，撤銷公主嶺專署，榆樹縣劃歸長春市轄。
1966年1月10日，劃歸德惠專署。
1968年7月26日，成立榆樹縣革命委員會。
1969年7月3日，撤銷德惠專署，改歸長春市轄。
1980年9月，縣革命委員會改稱縣人民政府。
1990年12月26日，經國務院批準，榆樹縣改為榆樹市（縣級市、省轄），由長春市代管。
2001年前，榆樹市設置16個鎮、21個鄉（1個民族鄉）、4個市區街道。
2001年，撤并7個鄉鎮。
全市設置16個鎮、14個鄉（1個民族鄉）、4個市區街道。
2005年，又撤并6個鄉鎮。
目前，全市轄長春五棵樹經濟開發區、環城工業集中區2個省級開發區，24個鄉鎮、4個街道辦事處，388個行政村、12個社區，全市戶籍人口119.5萬人，第七次全國人口普查常住人口83.6萬。