2019年10月28日
scrapy-redis 0.6.8 配置信息
摘要： 很多博客的db参数配置都不能用，所以记录一下该版本可用的配置 启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 确保所有的爬虫通过Redis去重 DUPEFILTER_CLASS = "scrapy_redis.dupefi 阅读全文
posted @ 2019-10-28 16:55 达芬奇vinic 阅读(161) 评论(0) 推荐(0)