2020年4月9日
scrapy使用redis实现增量式爬取
摘要： 增量式爬虫 监测网站数据更新的情况,只会爬取网站最新更新出来的数据。 需求： 爬取某个电影网站，然后把电影的名称和简介进行持久化存储 实现思路 指定一个起始url 基于CrawISpider获取其他页码链接 基于Rule将其他页码链接进行请求 从每一个页码对应的页面源码中解析出每一个电影详情页的UR 阅读全文
posted @ 2020-04-09 14:34 一只小小的寄居蟹 阅读(1751) 评论(0) 推荐(0)