2019年12月1日
scrapy-redis 分布式爬虫
摘要： 一、介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文
posted @ 2019-12-01 19:25 小王八+1 阅读(288) 评论(0) 推荐(0) 编辑