摘要： scrapy-redis 简介 scrapy-redis 是 scrapy 框架基于 redis 数据库的组件，用于 scraoy 项目的分布式开发和部署。 有如下特征： 分布式爬取： 你可以启动多个 spider 工程，相互之间共享单个的 requests 队列，最适合广泛的多个域名的内容的抓取。 阅读全文