scrapy_redis 报错：[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.youyuan.com': <GET http:/...

scrapy_redis分布式爬虫遇到的问题，报错[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to 'www.youyuan.com': <GET http:/...

 

 

解决办法：

在settings.py文件加上下面这句话：

SPIDER_MIDDLEWARES = {
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None, 
}

参考文档：https://blog.csdn.net/a870542373/article/details/80558797