爬虫scrapy框架入门

O、知识框架

一、初步概念

　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

　　1.requests+selenium能解决90%的爬虫需求&scrapy加速

　　2.scrapy使用了Twisted异步网络框架，加快下载速度。Twisted学习：https://www.cnblogs.com/chenyang920/p/7923364.html异步且非阻塞。

　　3.视频学习：https://www.bilibili.com/video/av37438466

　　　　笔记1：scrapy框架 | 爬虫课程，

　　　　笔记2：https://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html

　　4.工具使用

　　　　Xpath在线测试：https://www.toolnb.com/tools/xpath.html　

　　　　在线url编码解码工具：http://www.jsons.cn/urlencode/

　　　　抓包：postman——https://www.postman.com/downloads/

　　　　sojoson.v5网页加密：https://www.sojson.com/jsjiemi.html

二、安装

　　1. pythonIDE安装scrapy

　　　　在anaconda的Prompt控制台直接使用pip install scrapy，遇到building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools，需要先安装Twisted框架，查找安装过程：Collecting Twisted>=13.1.0 (from scrapy)..Downloading…。记住Twisted的版本号，点击https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网址下载对应的whl文件，在Prompt控制台上，进入该文件位置，利用pip install xxx命令安装该文件，再使用pip install scrapy，即可安装成功。

　　2.搞定Header

　　　　首先在Chrome控制台抓到的数据上点击鼠标左键→Copy→Copy as cURL。再访问https://curl.trillworks.com/，在“curl command”中将刚才拷贝的cURL粘贴进去，右边将自动生成Python代码。

　　3.使用Fidder抓包

　　　　https://www.cnblogs.com/zhaoyanjun/p/7068905.html

三、scrapy工作流程

 

　　1.调度器把requests-->引擎-->下载中间件--->下载器

　　2.下载器发送请求，获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫

　　3.爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器

　　4.爬虫提取数据--->引擎--->管道

　　5.管道进行数据的处理和保存

四、实战

　　1.在Anaconda Prompt控制台下切换到工作路径（xxx为自定义名字）：

　　　　1)创建一个scrapy项目：scrapy startproject xxx

　　　　2)生成一个爬虫：scrapy genspider xxx xxx.com，前一个为爬虫名，后一个为允许爬取的范围。

　　　　3)在项目文件夹下面启动爬虫：scrapy crawl xxx

　　2.extract()与extract_first()

　　　　extract()返回一个包含有字符串的列表，extract_first() 返回列表中的第一个字符串，列表为空没有返回None。

　　3.Pipeline

　　　　1)setting里面将Pipeline启动，多个Pipeline权重越小优先级越高。

　　　　2)为了让数据在Pipeline中传递，要用return。

　　　　3)Pipeline中的process_item方法名不能修改为其他的名称。

　　4. spider中的parse方法必须有。

　　5. response.xpath方法的返回结果是一个类list的类型，其中包含的是selector对象，操作和列表一样，但是有一些额外的方法。

　　6.yield

　　　　1)yield使得这个函数编程一个生成器。

　　　　2)yield能够传递的对象只能是：BaseItem,Request,dict,None。

　　　　3)遍历这个函数的返回值的时候，挨个把数据读到内存，不会造成内存的瞬间占用过高。

　　7.logging

　　　　1)若要控制台不输出日志，在setting.py中设置：LOG_LEVEL="WARNING"。保存日志只需加上LOG_FILE=xxx.txt。（也可在运行命令时附加-s LOG_FILE=xxx.txt）。

　　　　2)import logging，实例化logger的方式在任何文件中使用logger输出内容。

　　　　3)普通项目：import logging，logging.basicConfig(…)#设置日志输出的样式和格式，实例化一个logger=logging.getLogger(….namin)，在其他文件中调用Logger使用。

　　8.翻页请求                                 

　　　　1)找到下一页的url地址。

　　　　2)构造url地址的请求，scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False]) 注：中括号中的参数为可选参数。

　　　　　　callback：表示当前的url的响应交给哪个函数处理。

　　　　　　meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，如下载延迟、请求深度等。

　　　　　　dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动。

　　　　　　method：指定POST或GET请求。

　　　　　　headers：接收一个字典，其中不包括cookies。

　　　　　　cookies：接收一个字典，专门放置cookies。

　　　　　　body：接收一个字典，为POST的数据。

　　　　3)传递给引擎。yield scrapy.Request(url,callback)

　　　　4)在settings中设置ROBOTS协议。

　　　　　　# False表示忽略网站的robots.txt协议，默认为True——ROBOTSTXT_OBEY = False

　　　　5)item

　　　　　　定义item即提前规划好哪些字段需要抓取，scrapy.Field()仅仅是提前占坑。在python大多数框架中，大多数框架都会自定义自己的数据类型(在python自带的数据结构基础上进行封装)，目的是增加功能，增加自定义异常。

　　　　　　Item使用之前需要先导入并且实例化，之后的使用方法和使用字典相同

　　9.scrapy模拟登录

　　　　1)携带cookies直接获取需要登录后的页面：重构scrapy的starte_rquests方法(如果start_url地址中的url是需要登录后才能访问的url地址，则需要重写start_request方法并在其中手动添加上cookie)；cookie不能够放在headers中，在构造请求时有专门的cookies参数，能够接受字典形式的cookie；在setting中设置ROBOTS协议、USER_AGENT

　　　　2)找到url地址，发送post请求存储cookie。

　　　　3)找到对应的form表单，自动解析input标签，自动解析post请求的url地址，自动带上数据，自动发送请求。通过scrapy.FormRequest能够发送post请求，同时需要添加formdata参数作为请求体，以及callback——scrapy.FormRequest(url,formdata={需要用户填写的键对值},…)。scrapy.FormRequest.from_response()发送表单请求，接收的是response。

　　10.scrapy调试

　　  使用scrapy.shelle.inspect_response函数实现：

　　　　from scrapy.shell import inspect_response

　　　　inspect_response(response, self)，

　　　　Ctrl-D(Windows下Ctrl-Z)来退出终端，恢复爬取。

　　11.scrapy提升框架爬取数据效率

　　　　1）增加并发线程开启数量：settings配置文件中，修改CONCURRENT_REQUESTS = 100,默认为32，可适当增加；

　　　　2）降低日志级别：运行scrapy时会产生大量日志占用CPU，为减少CPU使用率，可修改log输出级别，settings配置文件中LOG_LEVEL='ERROR' 或 LOG_LEVEL = 'INFO' 。

　　　　3）禁止cookie

　　　　　　scrapy默认自动保存cookie，占用CPU，如果不是真的需要cookie，可设置为不保存cookie，以减少CPU使用率，settings配置文件中：COOKIES_ENABLED = False 解开注释

　　　　4）禁止请求重试：

　　　　　　对于失败的请求会重新发送，则会减慢爬取速度，因此可以在对丢失少量数据也不影响时，禁止重试，settings配置文件中加：RETRY_ENABLED = False ；

　　　　5）减少下载超时:

　　　　　　如果对一个非常慢的链接进行爬取，减少下载超时可以让卡住的链接快速被放弃，从而提升效率，在settings配置文件中进行编写：DOWNLOAD_TIMEOUT = 10设置超时时间；

　　　　6）禁止重定向：REDIRECT_ENABLED = FALSE

　　　　7）使用user_agent池

　　　　8）使用ip代理池

　　　　9）设置延迟：DOWNLOAD_DELAY=3，避免被发现。

　　　　10）不按照robots.txt：ROBOTSTXT_OBEY = FALSE

　　　　11）配置请求头：DEFAULT_REQUEST_HEADERS={{….}}

　　12.scrapy爬取JS生成的页面

　　　　1）利用第三方中间件来提供JS渲染服务：scraoy-splash等，Splash是一个javascript渲染服务。

　　　　2）利用pip安装scrapy-splash库：pip install scrapy-splash

　　　　3）安装docker：Windows10专业版安装docker

　　　　　　①开启Hyper-V：应用和功能——>程序和功能——>启用或关闭Windows功能——>选中Hyper-V。

　　　　　　②下载安装Docker Toolbox Desktop：https://www.docker.com/get-srarted注册站号并登录，下载Windows版本：Docker for Windows Installer安装文件，一路Next，点击Finish完成安装。

　　　　　　③镜像加速：Docker运行后，系统右下角托盘Docker图标内右键选择Settings，配置窗口左侧导航菜单选择Daemon，修改Registrymirrors为”registry-mirrors”:[“https://registry.docker-cn.com”]

　　　　　　④Win+r输入cmd回车，输入命令docker pull scrapinghub/splash拉取镜像

　　　　　　⑤输入命令：docker run -p 8050:8050 scrapinghub/splash运行scrapinghub/splash。

　　　　　　⑥在scrapy的settings.py中配置splash服务：

　　　　　　　　1）  添加splash服务器地址：SPLASH_URL = ‘http://localhost:8050’

　　　　　　　　2）  将splash middleware添加到DOWNLOADER_MIDDLEWARE中：

　　　　　　　　　　DOWNLOADER_MIDDLEWARES = {

　　　　　　　　　　‘scrapy_splash.SplashCookiesMiddleware’:723,

　　　　　　　　　　‘scrapy_splash.SplashMiddleware’:725,

　　　　　　　　　　‘scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware’:810,

　　　　　　　　　　}

　　　　　　　　3）Enable SplashDeduplicateArgsMiddleware:

　　　　　　　　　　SPIDER_MIDDLEWARES={‘scrapy_splash.SplashDeduplicateArgsMiddleware’:100}

　　　　　　　　4）Set a custom DUPEFILTER_CLASS:

　　　　　　　　　　DUPEFILTER_CLASS = ‘scrapy_splash.SplashAwareDupeFilter’　　　　　　　　

　　　　　　　　5）a custom cache storage backend:

　　　　　　  　　HTTPCACHE_STORAGE = ‘scrapy_splash.SplashAwareFSCacheStorage’

　　　　　　　　6）使用 scrapy_splash库中的SplashRequest进行请求爬取即可。

　　以上配置修改时使用Ctrl+F在代码中查找相应位置进行修改。