清代屬寧古塔副都統轄區。
清光緒二十三年（1897）修筑中東鐵路，形成綏芬河鐵路附屬地。
中東鐵路通車后，此地始稱“五站”（由海參崴起到綏芬河為第五站）。
清光緒二十八年農歷十二月（1903年1月），清政府設“總理綏芬河鐵路交涉分局”，正式使用“綏芬河”地名。
清光緒二十九年（1903），綏芬河地區（鐵路附屬地除外）屬綏芬廳興壤社。
清宣統元年（1909）屬東寧廳。
1913年3月屬東寧縣。
1917年寒蔥河、阜寧鎮區域，分別劃為東寧縣第四、第五區。
1921年2月，原綏芬河鐵路附屬地劃歸東省特別區第三區。
1923年3月綏芬河鐵路交涉分局改為綏芬河市政分局。
1926年東省特別區設綏芬河市。
1934年12月并入東寧縣。
1939年6月1日劃歸新設置的綏陽縣，設綏芬河街。
1948年10月綏陽縣并入東寧縣，東寧縣政府遷駐綏芬河，為第一區駐地。
1952年5月，東寧縣政府遷回東寧鎮，1953年9月改為第三區。
1956年4月，設置綏芬河鎮和寒蔥河鄉。
1958年9月，綏芬河鎮與寒蔥河鄉合并成立友好人民公社，1960年改稱綏芬河人民公社。
1965年2月，分設綏芬河鎮人民公社、建設人民公社。
1968年3月設立綏芬河區（縣級），由牡丹江地區管轄，同時撤銷綏芬河鎮人民公社、建設人民公社。
1970年2月恢復綏芬河鎮人民公社、建設人民公社。
1973年6月撤銷綏芬河區建置，并入東寧縣，設置綏芬河鎮。
1975年8月15日，以綏芬河鎮改設綏芬河市（縣級），歸牡丹江地區管轄。
1983年9月，改由牡丹江市代管，名稱沿用至今。