唐屬渤海國。
金屬胡里改路。
明屬奴兒干都司。
清代屬寧古塔將軍轄區。
清光緒二十七年（1901）修筑中東鐵路，在此地建火車站，因車站南臨牡丹江，遂取名“牡丹江站”。
清末添設民官后，隸屬寧安府管轄。
1913年隸屬寧安縣管轄。
1920年以后，在牡丹江車站周圍丈放街基，人口不斷增加，店鋪日益興起，逐漸形成集鎮。
1936年12月，圖們江至佳木斯鐵路全線通車后，牡丹江新站（今牡丹江站）落成，成為南北的交通樞紐。
1937年7月1日設牡丹江省，12月1日設牡丹江市，為牡丹江省省會，“牡丹江”正式成為政區名稱，牡丹江市隸屬牡丹江省管轄。
1943年10月為東滿總省省會。
1945年5月為東滿省省會。
1946年4月改隸綏寧省管轄，并為綏寧省省會。
同年10月，隸屬牡丹江專區管轄。
1947年8月隸屬牡丹江省管轄，為牡丹江省省會。
1948年7月撤銷牡丹江省，劃歸松江省管轄。
1949年12月，將牡丹江市郊區部分村屯分別劃歸海林、穆棱兩縣。
1954年8月，由黑龍江省直轄。
1956年3月，將原海林縣興隆區的江南、乜河、下乜河、興隆、海浪和柴河區的樺林、工農、互利、鐵嶺等9個村劃歸牡丹江市管轄。
1958年8月，牡丹江市由牡丹江專區管轄，同年10月將寧安縣溫春公社劃歸牡丹江市管轄。
1966年2月，牡丹江市改由省直轄，1968年4月又改由牡丹江地區管轄。
1983年9月3日，撤銷牡丹江地區，實行地市合并，將原牡丹江地區的寧安、海林、密山、林口、穆棱、東寧、虎林7縣劃歸牡丹江市領導。
同年10月，綏芬河市由牡丹江市代管。
1992年10月，密山市劃歸雞西市代管。
1993年6月，虎林縣劃歸雞西市管轄。
牡丹江市名稱沿用至今。