清代，屬寧古塔副都統轄區。
清光緒二十八年（1902），在呢嗎口（今虎頭鎮）設招墾分局。
清宣統元年七月（1909），設置呢嗎廳。
同年5月，將呢嗎廳改為虎林廳，隸屬吉林行省東北路道。
中華民國成立后，1913年3月，改為虎林縣，仍駐呢嗎口（稱虎林縣城）。
1914年6月，隸屬依蘭道。
1929年2月，撤銷道區，由吉林省直轄。
東北淪陷后，初隸吉林省，1934年12月劃歸濱江省管轄。
1937年7月，改歸新設之牡丹江省。
1938年8月5日，偽虎林縣公署移駐安樂鎮，并將安樂鎮改為“虎林”（今虎林鎮），原縣公署駐地改為“虎頭”。
1939年6月，劃歸新設之東安省管轄。
1943年10月，隸屬東滿總省，1945年5月改隸東滿省。
1945年，劃歸合江省管轄。
1946年6月，劃歸東安專區管轄。
1947年10月，改隸牡丹江省。
1948年7月，復由合江省直轄。
1949年5月，改隸松江省管轄。
1954年8月，松、黑兩省合并，由黑龍江省直轄。
1956年3月，劃歸牡丹江專區管轄。
1960年1月，將虎林、饒河兩縣合并為虎饒縣，縣人民委員會駐虎林鎮，隸屬牡丹江專區。
1962年11月，改隸合江專區。
1964年6月，撤銷虎饒縣，恢復虎林縣和饒河縣。
虎林縣址設于虎林鎮，仍隸于合江專區。
1970年4月，劃歸牡丹江地區管轄。
1983年9月，撤銷牡丹江地區，改由牡丹江市領導。
1993年8月，劃歸雞西市。
1996年，撤銷虎林縣，設立虎林市。