随笔分类 - 爬虫
摘要：概述 概念：监测 核心技术：去重 基于 redis 的一个去重 适合使用增量式的网站： 基于深度爬取的 对爬取过的页面url进行一个记录（记录表） 基于非深度爬取的 记录表：爬取过的数据对应的数据指纹 数据指纹：原始数据的一组唯一标识 数据 –> 数据指纹 –> 库中查询 hashlib 所谓的记录
阅读全文
摘要：概述 什么是分布式爬虫 需要搭建一个由n台电脑组成的机群，然后在每一台电脑中执行同一组程序，让其对同一网络资源进行联合且分布的数据爬取。 原生Scrapy无法实现分布式的原因 原生Scrapy中调度器不可以被共享 每一台机器都拥有一个调度器，如果一个机群共享一个调度器就可以了。 原生Scrapy中管
阅读全文
摘要：引言 本篇介绍Crawlspider，相比于Spider，Crawlspider更适用于批量爬取网页 Crawlspider Crawlspider适用于对网站爬取批量网页，相对比Spider类，CrawSpider主要使用规则（rules）来提取链接，通过定义一组规则为跟踪链接提供了遍历的机制。
阅读全文
摘要：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 scrapy 框架 高性能的网络请求 高性能的数据解析 高性能的持久化存储 深度爬取 全站爬取 分布式 中间件 请求传参 环境的安装 mac/linux：pip i
阅读全文
摘要：本篇介绍基于asyncio模块，实现单线程-多任务的异步协程 基本概念 协程函数 协程函数: 定义形式为 async def 的函数; aysnc 在Python3.5+版本新增了aysnc和await关键字，这两个语法糖让我们非常方便地定义和使用协程。 如果一个函数的定义被async修饰后，则该函
阅读全文
摘要：引言 概述 概念：基于网络请求的模块 作用：用来模拟浏览器发请求，从而实现爬虫 通用爬虫 步骤： 指定url 请求发送：get返回的是一个响应对象 获取响应数据: text返回的是字符串形式的响应数据 持久化存储 爬取搜狗首页的页面源码数据 1234567891011 import requests
阅读全文
摘要：一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree if __name
阅读全文
摘要：Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser
阅读全文
摘要：背景 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu
阅读全文
浙公网安备 33010602011771号