scrapy中selenium的应用

引入 : 

　　在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。

 

在scrapy中selenium应用  

1 . 需求 : 　　

　　比如 : 我们要爬虫网易新闻的国内 / 军事.板块的新闻数据

　　当我们点击点击国内超链接进入国内相对的页面时,会发现当前页面展示的新闻数据时被动加载出来的,如果直接通过程序对url进行请求,是获取不到动态加载出的新闻数据的.这个时候就需要使用selenium实例化一个浏览器对象,在该对象中进行url请求,获取动态加载的新闻数据 . 

2 . selenium在scrapy中使用的原理分析 : 

 

 

 

 

 

 

 

 

 

 

当引擎将国内板块url对应的请求提交给下载器后，下载器进行网页数据的下载，然后将下载到的页面数据，封装到response中，提交给引擎，引擎将response在转交给Spiders。Spiders接受到的response对象中存储的页面数据里是没有动态加载的新闻数据的。要想获取动态加载的新闻数据，则需要在下载中间件中对下载器提交给引擎的response响应对象进行拦截，切对其内部存储的页面数据进行篡改，修改成携带了动态加载出的新闻数据，然后将被篡改的response对象最终交给Spiders进行解析操作。

3 . selenium在scrapy中的使用流程 : 

- . 在spider的init方法中实例化一个浏览器对象(浏览器对象只需要被实例化一次)
- . 在spider的closed方法中关闭浏览器对象
- . 在下载中间件类的process_response方法中接收spider中的浏览器对象
- . 处理执行相关自动化操作(发起请求,获取页面数据)
- . 实例化一个新的响应对象(from scrapy.http import HtmlResponse),且将页面数据存储到该对象中
- . 返回新的响应对象
- . 在配置文件中开启中间件

 

4 . 案例演示 : 

　　-爬虫文件 : 

class WangyiSpider(RedisSpider):
    name = 'wangyi'
    #allowed_domains = ['www.xxxx.com']
    start_urls = ['https://news.163.com']
    def __init__(self):
        #实例化一个浏览器对象(实例化一次)
        self.bro = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')

    #必须在整个爬虫结束后，关闭浏览器
    def closed(self,spider):
        print('爬虫结束')
        self.bro.quit()
"""
获取url之后不能直接解析,因为现在的response是没有动态加载出来数据的
start_urls 这个请求对应的响应式可以拦截的,先执行拦截的操作,先进行拦截的操作再过来解析    
  所有先去看拦截那个中间件-->WangyiproDownloaderMiddleware
"""

- . 中间件文件

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep

    #参数介绍：
    #拦截到响应对象（下载器传递给Spider的响应对象）
    #request：响应对象对应的请求对象
    #response：拦截到的响应对象
    #spider：爬虫文件中对应的爬虫类的实例

class WangyiproDownloaderMiddleware(object):
    # Not all methods need to be defined. If a method is not defined,
    # scrapy acts as if the downloader middleware does not modify the
    # passed objects.

    @classmethod
    def from_crawler(cls, crawler):
        # This method is used by Scrapy to create your spiders.
        s = cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        return s

    def process_request(self, request, spider):
        # Called for each request that goes through the downloader
        # middleware.

        # Must either:
        # - return None: continue processing this request
        # - or return a Response object
        # - or return a Request object
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called

        # 这个None表示如果当前类中的方法拦截不到指定请求之后,
        # 就用后面的类方法拦截,可以不写
        return None


    # 拦截响应,
    # spider是爬虫类WangyiSpider的实例化对象,
    # 通过spider对象获取方法,就是说可以把实例化selenium的方法写在爬虫文件中
    # 因为打开浏览器只要一次就可以了,但是中间件中都是执行多次的
    # 最后将实例化好的浏览器通过spider的参数传递给中间件
    # request就是请求对象对应的响应对象

    def process_response(self, request, response, spider):
        # Called with the response returned from the downloader.

        # Must either;
        # - return a Response object
        # - return a Request object
        # - or raise IgnoreRequest
        print('即将返回一个新的响应对象!!!')
        # 新生成一个响应对象,要包含动态加载的数据
        # 获取动态加载出来的数据
        # 获取在爬虫文件中实例化好的浏览器对象
        bro = spider.bro
        bro.get(url=request.url)
        #一定要给与浏览器一定的缓冲加载数据的时间
        #页面数据就是包含了动态加载出来的新闻数据对应的页面数据
        sleep(3)
        # 包含了动态加载出来的新闻数据
        page_text = bro.page_source
        sleep(3)
        # url -> 当前响应对象对应请求的url  spider.bro.current_url,->当前打开的浏览器对应的url
        # body -> 响应体,源码数据
        # request -> 返回的新的响应对象对应的请求对象
        return HtmlResponse(url=spider.bro.current_url, body=page_text, encoding='utf-8', request=request)

- . 配置文件

# 第56行,打开中间件文件的配置
DOWNLOADER_MIDDLEWARES = {
   'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,
}