清代屬寧古塔副都統(tǒng)轄區(qū)。
清光緒二十三年（1897）修筑中東鐵路，形成綏芬河鐵路附屬地。
中東鐵路通車后，此地始稱“五站”（由海參崴起到綏芬河為第五站）。
清光緒二十八年農(nóng)歷十二月（1903年1月），清政府設“總理綏芬河鐵路交涉分局”，正式使用“綏芬河”地名。
清光緒二十九年（1903），綏芬河地區(qū)（鐵路附屬地除外）屬綏芬廳興壤社。
清宣統(tǒng)元年（1909）屬東寧廳。
1913年3月屬東寧縣。
1917年寒蔥河、阜寧鎮(zhèn)區(qū)域，分別劃為東寧縣第四、第五區(qū)。
1921年2月，原綏芬河鐵路附屬地劃歸東省特別區(qū)第三區(qū)。
1923年3月綏芬河鐵路交涉分局改為綏芬河市政分局。
1926年東省特別區(qū)設綏芬河市。
1934年12月并入東寧縣。
1939年6月1日劃歸新設置的綏陽縣，設綏芬河街。
1948年10月綏陽縣并入東寧縣，東寧縣政府遷駐綏芬河，為第一區(qū)駐地。
1952年5月，東寧縣政府遷回東寧鎮(zhèn)，1953年9月改為第三區(qū)。
1956年4月，設置綏芬河鎮(zhèn)和寒蔥河鄉(xiāng)。
1958年9月，綏芬河鎮(zhèn)與寒蔥河鄉(xiāng)合并成立友好人民公社，1960年改稱綏芬河人民公社。
1965年2月，分設綏芬河鎮(zhèn)人民公社、建設人民公社。
1968年3月設立綏芬河區(qū)（縣級），由牡丹江地區(qū)管轄，同時撤銷綏芬河鎮(zhèn)人民公社、建設人民公社。
1970年2月恢復綏芬河鎮(zhèn)人民公社、建設人民公社。
1973年6月撤銷綏芬河區(qū)建置，并入東寧縣，設置綏芬河鎮(zhèn)。
1975年8月15日，以綏芬河鎮(zhèn)改設綏芬河市（縣級），歸牡丹江地區(qū)管轄。
1983年9月，改由牡丹江市代管，名稱沿用至今。