紙廠河人文歷史悠久。
相傳舜帝治水南巡至此，在洈河上設義渡，留下虞氏古渡遺址，故稱“虞氏渡”。
宋代理學大師程顥（程道明先生）來紙廠河講學，留下故址程子山。
南宋慶元六年（1200），趙伯先從江西豐城縣遷此落藉，故稱趙家山（亦稱月亮山）。
南宋時，建有“虞渡寺”。
后來古渡旁興起多家草紙廠，因而得名紙廠河。
清宣統三年（1911），屬第八區紙林鄉，轄紙廠河、楊林市、黑土垱、蘇家坪、李家坪，共17保。
1930年屬第三區。
1932年屬第四區。
1935年屬第三區。
1946年設紫云鄉，轄紙廠河、黑土垱。
1975年，成立王家大湖公社，1984年3月，設立紙廠河鎮。