2019年9月5日
使用scrapy-redis搭建分布式爬虫环境
摘要： scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征：  分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布 阅读全文
posted @ 2019-09-05 16:22 BruceLong 阅读(608) 评论(0) 推荐(0)