2020年7月5日
分布式爬虫部署 基于scrapy和scrapy-redis
摘要： 如何实现分布式？ 安装一个scrapy-redis的组件 原生的scrapy是不可以实现分布式爬虫，必须要让scrapy结合着scrapy-redis组件一起实现分布式 为什么原生的scrapy不可以实现分布式？ 调度器不可以被分布式集群共享 管道不可以被分布式集群共享 scrapy-redis组件 阅读全文
posted @ 2020-07-05 16:47 bibicode 阅读(154) 评论(0) 推荐(0)
crawlspider 全站数据爬取之LinkExtractor,Rule
摘要： 创建crawlspider scrapy genspider -t crawl crawlall www.xxx.com 打开crawlall.py import scrapy from scrapy.linkextractors import LinkExtractor # LinkExtract 阅读全文
posted @ 2020-07-05 11:06 bibicode 阅读(453) 评论(0) 推荐(0)