一颗桃子t

摘要： 概述 概念：监测 核心技术：去重 基于 redis 的一个去重 适合使用增量式的网站： 基于深度爬取的 对爬取过的页面url进行一个记录（记录表） 基于非深度爬取的 记录表：爬取过的数据对应的数据指纹 数据指纹：原始数据的一组唯一标识 数据 –> 数据指纹 –> 库中查询 hashlib 所谓的记录 阅读全文

摘要： 概述 什么是分布式爬虫 需要搭建一个由n台电脑组成的机群，然后在每一台电脑中执行同一组程序，让其对同一网络资源进行联合且分布的数据爬取。 原生Scrapy无法实现分布式的原因 原生Scrapy中调度器不可以被共享 每一台机器都拥有一个调度器，如果一个机群共享一个调度器就可以了。 原生Scrapy中管 阅读全文