Scrapy Spider类介绍

一.介绍

　　 Spider是定义如何抓取某一个站点(或一组站点的类)，包括如何执行Crawl,以及如何从其页面中提取结构化数据。

　　对于spider,抓取周期是这样的：

　　1）首先生成初始请求以抓取第一个 URL，并指定一个回调函数以使用从这些请求下载的响应调用。

　　　　第一个要执行的请求是通过调用start_requests() （默认情况下）  请求指定的url是通过start_urls一个列表，parse方法是一个回调函数，用来获取响应的网页。

　　2）使用qequest对象请求，还将包含一个回调、然后由scrapy下载，由指定的回调函数处理它们的响应

　　3）在回调函数中，可以解析页面内容，通常使用选择器（也可以使用 BeautifulSoup、lxml 或您喜欢的任何机制）并使用解析的数据生成items。

　　4）最后从spider返回的items通常会保存到数据库。

 

二. scrapy.Spider类

　　这是一个python类,是最简单的spider, 也是所有其它spider都必须继承的,它不提供任何特殊功能。它只是提供了一个默认start_requests()实现，通过start_urls(spider类的属性)发送请求，然后parse处理每一个响应。

class ToScrapeCSSSpider(scrapy.Spider):
    name = "cnblogsapi"
    start_urls = [
        'https://www.cnblogs.com/SunSpring/p/16193997.html',
    ]

    def parse(self, response):
        pass
        

　　1.name属性

　　　　定义spider名称的字符串，用于scrapy定位和实例化spider的方式，因此它必须是唯一的，此属性是必须的。

　　　　如果spider抓取单个 域，通常创建一个spider的做法是:“域_spider.py" (如quotes_spider.py)。name就是取的域名。

　　2.allowed_domains属性

　　　　包含允许此spider抓取的域的可选字符串列表。

　　　　假设您的目标网址是https://www.example.com/1.html，然后添加'example.com'到列表中

　　3.start_urls属性

　　　　这是一个url的list列表类型，spider在启动时爬取的url列表，初始请求由它定义，request将根据start_urls中包含的数据依次生成。

　　4.custom_settings属性

　　　　覆盖全局的settings文件设置,如下所示：

　　custom_settings = {
        'DOWNLOADER_MIDDLEWARES':{
            'gerapy_pyppeteer.downloadermiddlewares.PyppeteerMiddleware': 543
        },
        'CONCURRENT_REQUESTS' : 3,
        'GERAPY_PYPPETEER_LOGGING_LEVEL' : logging.DEBUG
    }

　　6.settings

　　　settings实例，读取settings.py的内容,下面是callback回调方法中获取设置内容

    def parse(self, response):
        print(self.settings['ROBOTSTXT_OBEY'])

　　7.logger

　　　　记录日志，如下所示

    def parse(self, response):
        self.logger.info('c')

　　8.start_requests()

　　　　此方法必须返回一个迭代器，其中包含要为spider爬取的第一个请求。当打开spider进行爬取时，它被scrapy调用。　scrapy只调用它一次，因此start_requests() 作为生成器实现是安全的。　　　

　　　　默认实现Request(url, dont_filter=True)从start_urls中循环每一个url

　　11. parse(response)

　　　　这是scrapy用来处理下载响应的默认回调，start_urls里面的链接的请求完成下载后，parse方法就会被调用，返回的响应就会作为唯一的参数传递给parse方法。

　　12.arguments属性

　　　　spider可以接收修改其行为的参数，下面是一个示例:

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, category=None, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.start_urls = [f'http://www.example.com/categories/{category}']
        # ...

scrapy crawl myspider -a category=electronics

　　11.基它属性：

　　　　1) state：一个 dict 可以用来在批次之间保持一些spider状态

　　12.基它方法：

　　　　1) from_crawler(crawler,*.args,**kwargs)，创建类的方法，默认实现充当该__init__()方法的代理。

　　　　

三.scrapy.Spider.CrawlSpider 类

　　这是爬取常规网站最常用的爬虫，因为它通过定义一组规则为跟踪链接提供了一种方便的机制。

　　它继承了spider的属性，该类还支持一个新的属性：

　　rules属性对象：这是一个或多个rule对象的列表，每个rule定义了爬取网站的特定行为，如果多个规则匹配同一个链接，将使用每一个，根据在此属性中定义的顺序。

　　rules对象包括：

　　　　link_extractor(链接提取器对象)

　　　　callback(可调用的回调方法)

　　　　cb_wargs是一个包含要传递给回调函数的关键字参数的字典

　　　　fllow一个布尔值，是否从使用规则提取的每个响应中遵循转接头，如果callback是None 默认为True，否则是False

　　警告：基于crawlspider爬取时为新请求显示设置回调;否则可能会发生意外行为。

　　下面是一个带有规则的示例:

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # Extract links matching 'category.php' (but not matching 'subsection.php')
        # and follow links from them (since no callback means follow=True by default).
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # Extract links matching 'item.php' and parse them with the spider's method parse_item
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.logger.info('Hi, this is an item page! %s', response.url)
        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').get()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').get()
        item['link_text'] = response.meta['link_text']
        url = response.xpath('//td[@id="additional_data"]/@href').get()
        return response.follow(url, self.parse_additional_page, cb_kwargs=dict(item=item))

    def parse_additional_page(self, response, item):
        item['additional_data'] = response.xpath('//p[@id="additional_data"]/text()').get()
        return item