摘要：
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加
阅读全文
posted @ 2019-01-15 21:52
骑骡子赶猪
阅读(173)
推荐(0)
编辑
摘要：
先设置settings 中间件代码.py 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agen
阅读全文
posted @ 2019-01-14 19:46
骑骡子赶猪
阅读(181)
推荐(0)
编辑
摘要：
*************************************** #图片存储 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARN
阅读全文
posted @ 2019-01-14 19:43
骑骡子赶猪
阅读(155)
推荐(0)
编辑
摘要：
1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应的url存放到爬虫
阅读全文
posted @ 2019-01-14 19:42
骑骡子赶猪
阅读(119)
推荐(0)
编辑
摘要：
项目代码 settings代码 管道代码 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储 scrapy
阅读全文
posted @ 2019-01-14 19:41
骑骡子赶猪
阅读(184)
推荐(0)
编辑
摘要：
一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 二.安装
阅读全文
posted @ 2019-01-14 19:40
骑骡子赶猪
阅读(101)
推荐(0)
编辑
摘要：
1 什么是Fiddler? Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，
阅读全文
posted @ 2019-01-10 21:10
骑骡子赶猪
阅读(101)
推荐(0)
编辑
摘要：
动态数据加载处理 一.图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from lxml import etree
阅读全文
posted @ 2019-01-10 21:09
骑骡子赶猪
阅读(139)
推荐(0)
编辑
摘要：
相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 今日概要 使用云打码平台识别验证码 知识点回顾 session的创建方式 session的作用 proxies参数的作用 高匿，透明代理的区别 今日内容 云打
阅读全文
posted @ 2019-01-09 21:43
骑骡子赶猪
阅读(65)
推荐(0)
编辑
摘要：
其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此，我们的数据爬取的流程可以修改为： 今日
阅读全文
posted @ 2019-01-09 21:42
骑骡子赶猪
阅读(244)
推荐(0)
编辑
