摘要：
scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征： 分布式爬取 可以启动多个spider工程，相互之间共享单个redis队列 分布式数据处理 爬取到的scrapy的item数据可以推入到redis 阅读全文
posted @ 2019-05-30 22:04
Vinay
阅读(1144)
评论(0)
推荐(0)
摘要：
一、任务的记录与提取 1.1 制作每日任务 为了便于爬取，推荐使用网页版的在线记事本，现在这种工具很多，我选择“石墨文档”进行操作演示。记录内容的 格式可以根据自己的需求和爬虫自行确定，例如我在11月20日之前记录了一份以下样式的任务清单: 01月08日 6:30 起床 01月08日 8:00 上班 阅读全文
posted @ 2019-05-30 20:23
Vinay
阅读(1534)
评论(0)
推荐(0)
浙公网安备 33010602011771号