紙廠河人文歷史悠久。
相傳舜帝治水南巡至此，在洈河上設(shè)義渡，留下虞氏古渡遺址，故稱“虞氏渡”。
宋代理學大師程顥（程道明先生）來紙廠河講學，留下故址程子山。
南宋慶元六年（1200），趙伯先從江西豐城縣遷此落藉，故稱趙家山（亦稱月亮山）。
南宋時，建有“虞渡寺”。
后來古渡旁興起多家草紙廠，因而得名紙廠河。
清宣統(tǒng)三年（1911），屬第八區(qū)紙林鄉(xiāng)，轄紙廠河、楊林市、黑土垱、蘇家坪、李家坪，共17保。
1930年屬第三區(qū)。
1932年屬第四區(qū)。
1935年屬第三區(qū)。
1946年設(shè)紫云鄉(xiāng)，轄紙廠河、黑土垱。
1975年，成立王家大湖公社，1984年3月，設(shè)立紙廠河鎮(zhèn)。