scrapy框架(1)

 

scrapy框架

  • Scrapy框架五大组件

     
     
     
    xxxxxxxxxx
    12
     
     
     
     
    1
    【1】引擎（Engine）----------整个框架核心
    2
    【2】爬虫程序（Spider）------数据解析提取
    3
    【3】调度器（Scheduler）-----维护请求队列
    4
    【4】下载器（Downloader）----获取响应对象
    5
    【5】管道文件（Pipeline）-----数据入库处理
    6
    ​
    7
    ​
    8
    【两个中间件】
    9
        下载器中间件（Downloader Middlewares）
    10
            引擎->下载器,包装请求(随机代理等)
    11
        蜘蛛中间件（Spider Middlewares）
    12
            引擎->爬虫文件,可修改响应对象属性
     
     

  • scrapy爬虫工作流程

     
     
     
    xxxxxxxxxx
    6
     
     
     
     
    1
    【1】爬虫项目启动,由引擎向爬虫程序索要第一批要爬取的URL,交给调度器去入队列
    2
    【2】调度器处理请求后出队列,通过下载器中间件交给下载器去下载
    3
    【3】下载器得到响应对象后,通过蜘蛛中间件交给爬虫程序
    4
    【4】爬虫程序进行数据提取：
    5
        4.1) 数据交给管道文件去入库处理
    6
        4.2) 对于需要继续跟进的URL,再次交给调度器入队列，依次循环
     
     

  • scrapy常用命令

     
     
     
    xxxxxxxxxx
    6
     
     
     
     
    1
    【1】创建爬虫项目 : scrapy startproject 项目名
    2
    【2】创建爬虫文件
    3
        2.1) cd 项目文件夹
    4
        2.2) scrapy genspider 爬虫名 域名
    5
    【3】运行爬虫
    6
        scrapy crawl 爬虫名
     
     

  • scrapy项目目录结构

     
     
     
    xxxxxxxxxx
    9
     
     
     
     
    1
    Baidu                   # 项目文件夹
    2
    ├── Baidu               # 项目目录
    3
    │   ├── items.py        # 定义数据结构
    4
    │   ├── middlewares.py  # 中间件
    5
    │   ├── pipelines.py    # 数据处理
    6
    │   ├── settings.py     # 全局配置
    7
    │   └── spiders
    8
    │       ├── baidu.py    # 爬虫文件
    9
    └── scrapy.cfg          # 项目基本配置文件
     
     

  • settings.py常用变量

     
     
     
    xxxxxxxxxx
    11
     
     
     
     
    1
    【1】USER_AGENT = 'Mozilla/5.0'
    2
    【2】ROBOTSTXT_OBEY = False
    3
        是否遵循robots协议,一般我们一定要设置为False
    4
    【3】CONCURRENT_REQUESTS = 32
    5
        最大并发量,默认为16
    6
    【4】DOWNLOAD_DELAY = 0.5
    7
        下载延迟时间: 访问相邻页面的间隔时间,降低数据抓取的频率
    8
    【5】COOKIES_ENABLED = False | True
    9
        Cookie默认是禁用的，取消注释则 启用Cookie，即：True和False都是启用Cookie
    10
    【6】DEFAULT_REQUEST_HEADERS = {}
    11
        请求头,相当于requests.get(headers=headers)
     
     

  • 创建爬虫项目步骤

     
     
     
    xxxxxxxxxx
    15
     
     
     
     
    1
    【1】新建项目和爬虫文件
    2
        scrapy startproject 项目名
    3
        cd 项目文件夹
    4
        新建爬虫文件 ：scrapy genspider 文件名 域名
    5
    【2】明确目标(items.py)
    6
    【3】写爬虫程序(文件名.py)
    7
    【4】管道文件(pipelines.py)
    8
    【5】全局配置(settings.py)
    9
    【6】运行爬虫
    10
        8.1) 终端: scrapy crawl 爬虫名
    11
        8.2) pycharm运行
    12
            a> 创建run.py(和scrapy.cfg文件同目录)
    13
          from scrapy import cmdline
    14
          cmdline.execute('scrapy crawl maoyan'.split())
    15
            b> 直接运行 run.py 即可
     
     

瓜子二手车直卖网 - 一级页面

  • 目标

     
     
     
    xxxxxxxxxx
    9
     
     
     
     
    1
    【1】抓取瓜子二手车官网二手车收据（我要买车）
    2
    ​
    3
    【2】URL地址：https://www.guazi.com/bj/buy/o{}/#bread
    4
        URL规律: o1  o2  o3  o4  o5  ... ...
    5
            
    6
    【3】所抓数据
    7
        3.1) 汽车链接
    8
        3.2) 汽车名称
    9
        3.3) 汽车价格
     
     

实现步骤

  • 步骤1 - 创建项目和爬虫文件

     
     
     
    xxxxxxxxxx
    3
     
     
     
     
    1
    scrapy startproject Car
    2
    cd Car
    3
    scrapy genspider car www.guazi.com
     
     

  • 步骤2 - 定义要爬取的数据结构

     
     
     
    xxxxxxxxxx
    8
     
     
     
     
    1
    """items.py"""
    2
    import scrapy
    3
    ​
    4
    class CarItem(scrapy.Item):
    5
        # 链接、名称、价格
    6
        url = scrapy.Field()
    7
        name = scrapy.Field()
    8
        price = scrapy.Field()
     
     

  • 步骤3 - 编写爬虫文件（代码实现1）

     
     
     
    x
     
     
     
     
    1
    """
    2
    此方法其实还是一页一页抓取，效率并没有提升，和单线程一样
    3
    ​
    4
    xpath表达式如下:
    5
    【1】基准xpath,匹配所有汽车节点对象列表
    6
        li_list = response.xpath('//ul[@class="carlist clearfix js-top"]/li')
    7
    ​
    8
    【2】遍历后每辆车信息的xpath表达式
    9
        汽车链接: './a[1]/@href'
    10
        汽车名称: './/h2[@class="t"]/text()'
    11
        汽车价格: './/div[@class="t-price"]/p/text()'
    12
    """
    13
    # -*- coding: utf-8 -*-
    14
    import scrapy
    15
    from ..items import CarItem
    16
    ​
    17
    ​
    18
    class GuaziSpider(scrapy.Spider):
    19
        # 爬虫名
    20
        name = 'car'
    21
        # 允许爬取的域名
    22
        allowed_domains = ['www.guazi.com']
    23
        # 初始的URL地址
    24
        start_urls = ['https://www.guazi.com/bj/buy/o1/#bread']
    25
        # 生成URL地址的变量
    26
        n = 1
    27
    ​
    28
        def parse(self, response):
    29
            # 基准xpath: 匹配所有汽车的节点对象列表
    30
            li_list = response.xpath('//ul[@class="carlist clearfix js-top"]/li')
    31
            # 给items.py中的 GuaziItem类 实例化
    32
            item = CarItem()
    33
            for li in li_list:
    34
                item['url'] = li.xpath('./a[1]/@href').get()
    35
                item['name'] = li.xpath('./a[1]/@title').get()
    36
                item['price'] = li.xpath('.//div[@class="t-price"]/p/text()').get()
    37
    ​
    38
                # 把抓取的数据,传递给了管道文件 pipelines.py
    39
                yield item
    40
    ​
    41
            # 1页数据抓取完成,生成下一页的URL地址,交给调度器入队列
    42
            if self.n < 5:
    43
                self.n += 1
    44
                url = 'https://www.guazi.com/bj/buy/o{}/#bread'.format(self.n)
    45
                # 把url交给调度器入队列
    46
                yield scrapy.Request(url=url, callback=self.parse)
     
     

  • 步骤3 - 编写爬虫文件（代码实现2）

     
     
     
    xxxxxxxxxx
    33
     
     
     
     
    1
    """
    2
    重写start_requests()方法，效率极高
    3
    """
    4
    # -*- coding: utf-8 -*-
    5
    import scrapy
    6
    from ..items import CarItem
    7
    ​
    8
    class GuaziSpider(scrapy.Spider):
    9
        # 爬虫名
    10
        name = 'car2'
    11
        # 允许爬取的域名
    12
        allowed_domains = ['www.guazi.com']
    13
        # 1、去掉start_urls变量
    14
        # 2、重写 start_requests() 方法
    15
        def start_requests(self):
    16
            """生成所有要抓取的URL地址,一次性交给调度器入队列"""
    17
            for i in range(1,6):
    18
                url = 'https://www.guazi.com/bj/buy/o{}/#bread'.format(i)
    19
                # scrapy.Request(): 把请求交给调度器入队列
    20
                yield scrapy.Request(url=url,callback=self.parse)
    21
    ​
    22
        def parse(self, response):
    23
            # 基准xpath: 匹配所有汽车的节点对象列表
    24
            li_list = response.xpath('//ul[@class="carlist clearfix js-top"]/li')
    25
            # 给items.py中的 GuaziItem类 实例化
    26
            item = CarItem()
    27
            for li in li_list:
    28
                item['url'] = li.xpath('./a[1]/@href').get()
    29
                item['name'] = li.xpath('./a[1]/@title').get()
    30
                item['price'] = li.xpath('.//div[@class="t-price"]/p/text()').get()
    31
    ​
    32
                # 把抓取的数据,传递给了管道文件 pipelines.py
    33
                yield item
     
     

  • 步骤4 - 管道文件处理数据

     
     
     
    xxxxxxxxxx
    60
     
     
     
     
    1
    """
    2
    pipelines.py处理数据
    3
    1、mysql数据库建库建表
    4
    create database cardb charset utf8;
    5
    use cardb;
    6
    create table cartab(
    7
    name varchar(200),
    8
    price varchar(100),
    9
    url varchar(500)
    10
    )charset=utf8;
    11
    """
    12
    # -*- coding: utf-8 -*-
    13
    ​
    14
    # 管道1 - 从终端打印输出
    15
    class CarPipeline(object):
    16
        def process_item(self, item, spider):
    17
            print(dict(item))
    18
            return item
    19
    ​
    20
    # 管道2 - 存入MySQL数据库管道
    21
    import pymysql
    22
    from .settings import *
    23
    ​
    24
    class CarMysqlPipeline(object):
    25
        def open_spider(self,spider):
    26
            """爬虫项目启动时只执行1次,一般用于数据库连接"""
    27
            self.db = pymysql.connect(MYSQL_HOST,MYSQL_USER,MYSQL_PWD,MYSQL_DB,charset=CHARSET)
    28
            self.cursor = self.db.cursor()
    29
    ​
    30
        def process_item(self,item,spider):
    31
            """处理从爬虫文件传过来的item数据"""
    32
            ins = 'insert into guazitab values(%s,%s,%s)'
    33
            car_li = [item['name'],item['price'],item['url']]
    34
            self.cursor.execute(ins,car_li)
    35
            self.db.commit()
    36
    ​
    37
            return item
    38
    ​
    39
        def close_spider(self,spider):
    40
            """爬虫程序结束时只执行1次,一般用于数据库断开"""
    41
            self.cursor.close()
    42
            self.db.close()
    43
    ​
    44
    ​
    45
    # 管道3 - 存入MongoDB管道
    46
    import pymongo
    47
    ​
    48
    class CarMongoPipeline(object):
    49
        def open_spider(self,spider):
    50
            self.conn = pymongo.MongoClient(MONGO_HOST,MONGO_PORT)
    51
            self.db = self.conn[MONGO_DB]
    52
            self.myset = self.db[MONGO_SET]
    53
    ​
    54
        def process_item(self,item,spider):
    55
            car_dict = {
    56
                'name' : item['name'],
    57
                'price': item['price'],
    58
                'url'  : item['url']
    59
            }
    60
            self.myset.insert_one(car_dict)
     
     

  • 步骤5 - 全局配置文件（settings.py）

     
     
     
    xxxxxxxxxx
    26
     
     
     
     
    1
    【1】ROBOTSTXT_OBEY = False
    2
    【2】DOWNLOAD_DELAY = 1
    3
    【3】COOKIES_ENABLED = False
    4
    【4】DEFAULT_REQUEST_HEADERS = {
    5
        "Cookie": "此处填写抓包抓取到的Cookie",
    6
        "User-Agent": "此处填写自己的User-Agent",
    7
      }
    8
    ​
    9
    【5】ITEM_PIPELINES = {
    10
         'Car.pipelines.CarPipeline': 300,
    11
         'Car.pipelines.CarMysqlPipeline': 400,
    12
         'Car.pipelines.CarMongoPipeline': 500,
    13
      }
    14
    ​
    15
    【6】定义MySQL相关变量
    16
    MYSQL_HOST = 'localhost'
    17
    MYSQL_USER = 'root'
    18
    MYSQL_PWD = '123456'
    19
    MYSQL_DB = 'guazidb'
    20
    CHARSET = 'utf8'
    21
    ​
    22
    【7】定义MongoDB相关变量
    23
    MONGO_HOST = 'localhost'
    24
    MONGO_PORT = 27017
    25
    MONGO_DB = 'guazidb'
    26
    MONGO_SET = 'guaziset'
     
     

  • 步骤6 - 运行爬虫（run.py）

     
     
     
    xxxxxxxxxx
    3
     
     
     
     
    1
    """run.py"""
    2
    from scrapy import cmdline
    3
    cmdline.execute('scrapy crawl car'.split())
     
     

知识点汇总

  • 数据持久化 - 数据库

     
     
     
    xxxxxxxxxx
    15
     
     
     
     
    1
    【1】在setting.py中定义相关变量
    2
    【2】pipelines.py中导入settings模块
    3
    def open_spider(self,spider):
    4
    """爬虫开始执行1次,用于数据库连接"""
    5
            
    6
        def process_item(self,item,spider):
    7
            """具体处理数据"""
    8
            return item
    9
        
    10
    def close_spider(self,spider):
    11
    """爬虫结束时执行1次,用于断开数据库连接"""  
    12
    【3】settings.py中添加此管道
    13
    ITEM_PIPELINES = {'':200}
    14
    ​
    15
    【注意】 ：process_item() 函数中一定要 return item ,当前管道的process_item()的返回值会作为下一个管道 process_item()的参数
     
     

  • 数据持久化 - csv、json文件

     
     
     
    xxxxxxxxxx
    8
     
     
     
     
    1
    【1】存入csv文件
    2
        scrapy crawl car -o car.csv
    3
    

    

    

    

    4
    

    

    【2】存入json文件
    

    

    

    

    5
    

    

        scrapy crawl car -o car.json
    

    

    

    

    6
    

    

    ​
    

    

    

    

    7
    

    

    【3】注意: settings.py中设置导出编码 - 主要针对json文件
    

    

    

    

    8
    

    

        FEED_EXPORT_ENCODING = 'utf-8'
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    节点对象.xpath('')
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    7
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    【1】列表,元素为选择器 @
    

    

    

    

    2
    

    

        [
    

    

    

    

    3
    

    

            <selector xpath='xxx' data='A'>,
    

    

    

    

    4
    

    

            <selector xpath='xxx' data='B'>
    

    

    

    

    5
    

    

        ]
    

    

    

    

    6
    

    

    【2】列表.extract() ：序列化列表中所有选择器为Unicode字符串 ['A','B']
    

    

    

    

    7
    

    

    【3】列表.extract_first() 或者 get() :获取列表中第1个序列化的元素(字符串) 'A'
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



    

  • 

    课堂练习
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    1
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    【熟悉整个流程】 : 将猫眼电影案例数据抓取，存入MySQL数据库
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



瓜子二手车直卖网 - 二级页面


    

  • 

    目标说明
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    9
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    【1】在抓取一级页面的代码基础上升级
    

    

    

    

    2
    

    

    【2】一级页面所抓取数据（和之前一样）:
    

    

    

    

    3
    

    

        2.1) 汽车链接
    

    

    

    

    4
    

    

        2.2) 汽车名称
    

    

    

    

    5
    

    

        2.3) 汽车价格
    

    

    

    

    6
    

    

    【3】二级页面所抓取数据
    

    

    

    

    7
    

    

        3.1) 行驶里程: //ul[@class="assort clearfix"]/li[2]/span/text()
    

    

    

    

    8
    

    

        3.2) 排量:    //ul[@class="assort clearfix"]/li[3]/span/text()
    

    

    

    

    9
    

    

        3.3) 变速箱:  //ul[@class="assort clearfix"]/li[4]/span/text()
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



在原有项目基础上实现


    

  • 

    步骤1 - items.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    15
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    # 添加二级页面所需抓取的数据结构
    

    

    

    

    2
    

    

    ​
    

    

    

    

    3
    

    

    import scrapy
    

    

    

    

    4
    

    

    ​
    

    

    

    

    5
    

    

    class GuaziItem(scrapy.Item):
    

    

    

    

    6
    

    

        # define the fields for your item here like:
    

    

    

    

    7
    

    

        # 一级页面: 链接、名称、价格
    

    

    

    

    8
    

    

        url = scrapy.Field()
    

    

    

    

    9
    

    

        name = scrapy.Field()
    

    

    

    

    10
    

    

        price = scrapy.Field()
    

    

    

    

    11
    

    

        # 二级页面: 时间、里程、排量、变速箱
    

    

    

    

    12
    

    

        time = scrapy.Field()
    

    

    

    

    13
    

    

        km = scrapy.Field()
    

    

    

    

    14
    

    

        disp = scrapy.Field()
    

    

    

    

    15
    

    

        trans = scrapy.Field()
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    步骤2 - car2.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    43
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    """
    

    

    

    

    2
    

    

    重写start_requests()方法，效率极高
    

    

    

    

    3
    

    

    """
    

    

    

    

    4
    

    

    # -*- coding: utf-8 -*-
    

    

    

    

    5
    

    

    import scrapy
    

    

    

    

    6
    

    

    from ..items import CarItem
    

    

    

    

    7
    

    

    ​
    

    

    

    

    8
    

    

    class GuaziSpider(scrapy.Spider):
    

    

    

    

    9
    

    

        # 爬虫名
    

    

    

    

    10
    

    

        name = 'car2'
    

    

    

    

    11
    

    

        # 允许爬取的域名
    

    

    

    

    12
    

    

        allowed_domains = ['www.guazi.com']
    

    

    

    

    13
    

    

        # 1、去掉start_urls变量
    

    

    

    

    14
    

    

        # 2、重写 start_requests() 方法
    

    

    

    

    15
    

    

        def start_requests(self):
    

    

    

    

    16
    

    

            """生成所有要抓取的URL地址,一次性交给调度器入队列"""
    

    

    

    

    17
    

    

            for i in range(1,6):
    

    

    

    

    18
    

    

                url = 'https://www.guazi.com/bj/buy/o{}/#bread'.format(i)
    

    

    

    

    19
    

    

                # scrapy.Request(): 把请求交给调度器入队列
    

    

    

    

    20
    

    

                yield scrapy.Request(url=url,callback=self.parse)
    

    

    

    

    21
    

    

    ​
    

    

    

    

    22
    

    

        def parse(self, response):
    

    

    

    

    23
    

    

            # 基准xpath: 匹配所有汽车的节点对象列表
    

    

    

    

    24
    

    

            li_list = response.xpath('//ul[@class="carlist clearfix js-top"]/li')
    

    

    

    

    25
    

    

            # 给items.py中的 GuaziItem类 实例化
    

    

    

    

    26
    

    

            item = CarItem()
    

    

    

    

    27
    

    

            for li in li_list:
    

    

    

    

    28
    

    

                item['url'] = 'https://www.guazi.com' + li.xpath('./a[1]/@href').get()
    

    

    

    

    29
    

    

                item['name'] = li.xpath('./a[1]/@title').get()
    

    

    

    

    30
    

    

                item['price'] = li.xpath('.//div[@class="t-price"]/p/text()').get()
    

    

    

    

    31
    

    

                # Request()中meta参数: 在不同解析函数之间传递数据,item数据会随着response一起返回
    

    

    

    

    32
    

    

                yield scrapy.Request(url=item['url'], meta={'meta_1': item}, callback=self.detail_parse)
    

    

    

    

    33
    

    

    ​
    

    

    

    

    34
    

    

        def detail_parse(self, response):
    

    

    

    

    35
    

    

            """汽车详情页的解析函数"""
    

    

    

    

    36
    

    

            # 获取上个解析函数传递过来的 meta 数据
    

    

    

    

    37
    

    

            item = response.meta['meta_1']
    

    

    

    

    38
    

    

            item['km'] = response.xpath('//ul[@class="assort clearfix"]/li[2]/span/text()').get()
    

    

    

    

    39
    

    

            item['disp'] = response.xpath('//ul[@class="assort clearfix"]/li[3]/span/text()').get()
    

    

    

    

    40
    

    

            item['trans'] = response.xpath('//ul[@class="assort clearfix"]/li[4]/span/text()').get()
    

    

    

    

    41
    

    

    ​
    

    

    

    

    42
    

    

            # 1条数据最终提取全部完成,交给管道文件处理
    

    

    

    

    43
    

    

            yield item
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    步骤3 - pipelines.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    15
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    # 将数据存入mongodb数据库,此处我们就不对MySQL表字段进行操作了,如有兴趣可自行完善
    

    

    

    

    2
    

    

    # MongoDB管道
    

    

    

    

    3
    

    

    import pymongo
    

    

    

    

    4
    

    

    ​
    

    

    

    

    5
    

    

    class GuaziMongoPipeline(object):
    

    

    

    

    6
    

    

        def open_spider(self,spider):
    

    

    

    

    7
    

    

            """爬虫项目启动时只执行1次,用于连接MongoDB数据库"""
    

    

    

    

    8
    

    

            self.conn = pymongo.MongoClient(MONGO_HOST,MONGO_PORT)
    

    

    

    

    9
    

    

            self.db = self.conn[MONGO_DB]
    

    

    

    

    10
    

    

            self.myset = self.db[MONGO_SET]
    

    

    

    

    11
    

    

    ​
    

    

    

    

    12
    

    

        def process_item(self,item,spider):
    

    

    

    

    13
    

    

            car_dict = dict(item)
    

    

    

    

    14
    

    

            self.myset.insert_one(car_dict)
    

    

    

    

    15
    

    

            return item
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    步骤4 - settings.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    5
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    # 定义MongoDB相关变量
    

    

    

    

    2
    

    

    MONGO_HOST = 'localhost'
    

    

    

    

    3
    

    

    MONGO_PORT = 27017
    

    

    

    

    4
    

    

    MONGO_DB = 'guazidb'
    

    

    

    

    5
    

    

    MONGO_SET = 'guaziset'
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



盗墓笔记小说抓取 - 三级页面


    

  • 

    目标
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    4
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    【1】URL地址 ：http://www.daomubiji.com/
    

    

    

    

    2
    

    

    【2】要求 : 抓取目标网站中盗墓笔记所有章节的所有小说的具体内容，保存到本地文件
    

    

    

    

    3
    

    

        ./data/novel/盗墓笔记1:七星鲁王宫/七星鲁王_第一章_血尸.txt
    

    

    

    

    4
    

    

        ./data/novel/盗墓笔记1:七星鲁王宫/七星鲁王_第二章_五十年后.txt
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    准备工作xpath
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    13
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    【1】一级页面 - 大章节标题、链接：
    

    

    

    

    2
    

    

        1.1) 基准xpath匹配a节点对象列表:  '//li[contains(@id,"menu-item-20")]/a'
    

    

    

    

    3
    

    

        1.2) 大章节标题: './text()'
    

    

    

    

    4
    

    

        1.3) 大章节链接: './@href'
    

    

    

    

    5
    

    

        
    

    

    

    

    6
    

    

    【2】二级页面 - 小章节标题、链接
    

    

    

    

    7
    

    

        2.1) 基准xpath匹配article节点对象列表: '//article'
    

    

    

    

    8
    

    

        2.2) 小章节标题: './a/text()'
    

    

    

    

    9
    

    

        2.3) 小章节链接: './a/@href'
    

    

    

    

    10
    

    

        
    

    

    

    

    11
    

    

    【3】三级页面 - 小说内容
    

    

    

    

    12
    

    

        3.1) p节点列表: '//article[@class="article-content"]/p/text()'
    

    

    

    

    13
    

    

        3.2) 利用join()进行拼接: ' '.join(['p1','p2','p3',''])
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



项目实现


    

  • 

    1、创建项目及爬虫文件
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    3
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    scrapy startproject Daomu
    

    

    

    

    2
    

    

    cd Daomu
    

    

    

    

    3
    

    

    scrapy genspider daomu www.daomubiji.com
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    2、定义要爬取的数据结构 - itemspy
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    6
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    class DaomuItem(scrapy.Item):
    

    

    

    

    2
    

    

        # 拷问: 你的pipelines.py中需要处理哪些数据？ 文件名、路径
    

    

    

    

    3
    

    

        # 文件名：小标题名称  son_title: 七星鲁王 第一章 血尸
    

    

    

    

    4
    

    

        son_title = scrapy.Field()
    

    

    

    

    5
    

    

        directory = scrapy.Field()
    

    

    

    

    6
    

    

        content = scrapy.Field()
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    3、爬虫文件实现数据抓取 - daomu.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    51
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    # -*- coding: utf-8 -*-
    

    

    

    

    2
    

    

    import scrapy
    

    

    

    

    3
    

    

    from ..items import DaomuItem
    

    

    

    

    4
    

    

    import os
    

    

    

    

    5
    

    

    ​
    

    

    

    

    6
    

    

    class DaomuSpider(scrapy.Spider):
    

    

    

    

    7
    

    

        name = 'daomu'
    

    

    

    

    8
    

    

        allowed_domains = ['www.daomubiji.com']
    

    

    

    

    9
    

    

        start_urls = ['http://www.daomubiji.com/']
    

    

    

    

    10
    

    

    ​
    

    

    

    

    11
    

    

        def parse(self, response):
    

    

    

    

    12
    

    

            """一级页面解析函数：提取大标题+大链接,并把大链接交给调度器入队列"""
    

    

    

    

    13
    

    

            a_list = response.xpath('//li[contains(@id,"menu-item-20")]/a')
    

    

    

    

    14
    

    

            for a in a_list:
    

    

    

    

    15
    

    

                item = DaomuItem()
    

    

    

    

    16
    

    

                parent_title = a.xpath('./text()').get()
    

    

    

    

    17
    

    

                parent_url = a.xpath('./@href').get()
    

    

    

    

    18
    

    

                item['directory'] = './novel/{}/'.format(parent_title)
    

    

    

    

    19
    

    

                # 创建对应文件夹
    

    

    

    

    20
    

    

                if not os.path.exists(item['directory']):
    

    

    

    

    21
    

    

                    os.makedirs(item['directory'])
    

    

    

    

    22
    

    

                # 交给调度器入队列
    

    

    

    

    23
    

    

                yield scrapy.Request(url=parent_url, meta={'meta_1':item}, callback=self.detail_page)
    

    

    

    

    24
    

    

    ​
    

    

    

    

    25
    

    

        # 返回了11个response,调用了这个函数
    

    

    

    

    26
    

    

        def detail_page(self, response):
    

    

    

    

    27
    

    

            """二级页面解析函数：提取小标题、小链接"""
    

    

    

    

    28
    

    

            # 把item接收
    

    

    

    

    29
    

    

            meta_1 = response.meta['meta_1']
    

    

    

    

    30
    

    

            art_list = response.xpath('//article')
    

    

    

    

    31
    

    

            for art in art_list:
    

    

    

    

    32
    

    

                # 只要有继续交往调度器的请求,就必须新建item对象
    

    

    

    

    33
    

    

                item = DaomuItem()
    

    

    

    

    34
    

    

                item['son_title'] = art.xpath('./a/text()').get()
    

    

    

    

    35
    

    

                son_url = art.xpath('./a/@href').get()
    

    

    

    

    36
    

    

                item['directory'] = meta_1['directory']
    

    

    

    

    37
    

    

                # 再次交给调度器入队列
    

    

    

    

    38
    

    

                yield scrapy.Request(url=son_url, meta={'item':item}, callback=self.get_content)
    

    

    

    

    39
    

    

    ​
    

    

    

    

    40
    

    

        # 盗墓笔记1: 传过来了75个response
    

    

    

    

    41
    

    

        # 盗墓笔记2: 传过来了 n 个response
    

    

    

    

    42
    

    

        # ... ...
    

    

    

    

    43
    

    

        def get_content(self, response):
    

    

    

    

    44
    

    

            """三级页面解析函数：提取具体小说内容"""
    

    

    

    

    45
    

    

            item = response.meta['item']
    

    

    

    

    46
    

    

            # content_list: ['段落1','段落2','段落3',...]
    

    

    

    

    47
    

    

            content_list = response.xpath('//article[@class="article-content"]/p/text()').extract()
    

    

    

    

    48
    

    

            item['content'] = '\n'.join(content_list)
    

    

    

    

    49
    

    

    ​
    

    

    

    

    50
    

    

            # 至此,一条item数据全部提取完成
    

    

    

    

    51
    

    

            yield item
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    4、管道文件实现数据处理 - pipelines.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    8
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    class DaomuPipeline(object):
    

    

    

    

    2
    

    

        def process_item(self, item, spider):
    

    

    

    

    3
    

    

            # filename: ./novel/盗墓笔记1:七星鲁王宫/七星鲁王_第一章_血尸.txt
    

    

    

    

    4
    

    

            filename = '{}{}.txt'.format(item['directory'], item['son_title'].replace(' ', '_'))
    

    

    

    

    5
    

    

            with open(filename, 'w') as f:
    

    

    

    

    6
    

    

                f.write(item['content'])
    

    

    

    

    7
    

    

    ​
    

    

    

    

    8
    

    

            return item
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 

  • 

    5、全局配置 - setting.py
    

    

     
    

     
    

     
    

    

    

    

    

    

    

    xxxxxxxxxx
    

    

    10
    

    

    

     
    

     
    

    

    

     
    

     
    

    

    1
    

    

    ROBOTSTXT_OBEY = False
    

    

    

    

    2
    

    

    DOWNLOAD_DELAY = 0.5
    

    

    

    

    3
    

    

    DEFAULT_REQUEST_HEADERS = {
    

    

    

    

    4
    

    

      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    

    

    

    

    5
    

    

      'Accept-Language': 'en',
    

    

    

    

    6
    

    

      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    

    

    

    

    7
    

    

    }
    

    

    

    

    8
    

    

    ITEM_PIPELINES = {
    

    

    

    

    9
    

    

       'Daomu.pipelines.DaomuPipeline': 300,
    

    

    

    

    10
    

    

    }
    

    

    

    

    

    

    

     
    

     
    

    

    

    • 



今日作业




 


 


 














xxxxxxxxxx




9






 


 








1




【1】腾讯招聘职位信息抓取（二级页面）








2




    要求：输入职位关键字，抓取该类别下所有职位信息（到职位详情页抓取）








3




    具体数据如下：








4




    1.1) 职位名称








5




    1.2) 职位地点








6




    1.3) 职位类别








7




    1.4) 发布时间








8




    1.5) 工作职责






 


 




9




    1.6) 工作要求














 


 






 










            

            
posted @ 
2020-09-14 17:22 
爱吃萝卜爱吃兔 
阅读(142) 
评论(0) 
编辑 
收藏 
举报