随笔分类 -  Scrapy-redis

使用scrapy-redis搭建分布式爬虫环境
摘要：scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征：  分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布 阅读全文
posted @ 2019-08-26 23:18 vekair 阅读(249) 评论(0) 推荐(0)