摘要： scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征： 增量式爬虫 可以继续执行程序，会发现程序在前一次的基础之上继续往后执行，是一个基于url地址的增量式的爬虫 分布式爬取 您可以启动多个spider工程，相互之间共享单个red 阅读全文