2020年4月13日
使用scrapy实现分布式爬虫
摘要： 分布式爬虫 搭建一个分布式的集群，让其对一组资源进行分布联合爬取，提升爬取效率 如何实现分布式 1.scrapy框架是否可以自己实现分布式？ 不可以！！！ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同 阅读全文
posted @ 2020-04-13 23:47 一只小小的寄居蟹 阅读(4513) 评论(0) 推荐(0)