摘要： 阅读目录 CrawlSpider（爬取多页面数据） CrawlSpider的介绍 需求：爬取趣事百科中所有的段子（包含1-35页） 基于scrapy-redis分布式爬虫 一、redis分布式部署 需求：分布式爬取抽屉网中的标题（存储到redis中） 增量式爬虫 需求：爬取4567tv网站中所有的电 阅读全文