2018年5月18日
scrapy_redis 实现多进程配置部分代码
摘要： # 启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 不清除Redis队 阅读全文
posted @ 2018-05-18 15:00 猪啊美 阅读(875) 评论(0) 推荐(0)