3.4 scrapy框架 -- Item Pipeline

1.Item Pipeline 介绍

2.item使用

3.pipeline 介绍

4.Pipeline管道类的方法详解

5.Pipeline相关配置信息

6.Python操作三大主流数据库接口

7.Image Pipeline —- 大文件下载

8.Image Pipeline简单示例

---

1.Item Pipeline 介绍

ItemPipeline是scrapy框架用于持久化存储的核心组件,该组件的作用就是将爬取到的数据清洗后进行持久化存储.实际上我们一般将ItemPipeline分为细分为两部分,一部分为Item,即定义数据存储的数据结构,一般用于解析方法中,实例化item对象,将目标数据存储在item的属性中;另一部分为Pipeline,即进行数据的存储或进一步清洗,该部分出现在item对象出现后,操作也基本上是针对item的.
所以,总结来说ItemPipeline分为两部分:
3　　 (1).item:定义数据存储的结构
　　(2).Pipeline:定义数据存进数据库或爬取数据的进一步清洗

 

返回顶部

---

2.item使用

item在项目中应定义在items.py文件中

# 简单示例: 加入爬取的数据为新闻的: 标题, 发布时间, 发布人, 评论数等信息, 可以定义如下的item

import scrapy

classNewsPipeline(scrapy.Item):
    news_title = scrapy.Field()# 新闻标题信息
    news_time = scrapy.Field()# 新闻发布时间信息
    news_auth = scrapy.Field()# 新闻发布人信息
    news_comment = scrapy.Field()# 新闻评论数信息

 

返回顶部

---

3.pipeline 介绍

1.Pipeline功能:数据进一步清洗及数据的持久化存储

2.Pipeline可实现方法:
    1).Pipeline管道类必须实现一个方法,即process_item(item, spider)方法
    2).Pipelien其他方法:
            open_spider(spider)
            close_spider(spider)
            from _crawler(cls, crawler)    

 

返回顶部

---

4.Pipeline管道类的方法详解

# process_item(item, spider)方法:
1.该方法是必须实现的方法,该方法用于将数据存储在数据库中,该方法必须返回一个item或抛出一个DropItem异常,返回item对象是为了下一个管道类能够接受到item对象进行其他对item的处理操作

2.process_item方法的参数:
    1).item参数:是item对象,即管道类中要被处理的item对象, item对象中存储着目标数据
    2).spider参数: spider是产生item对象的spider爬虫程序

3.process_item返回值:
　　1).item对象:爬取的数据往往要存储在多个数据库中,该方法返回item对象可以被下一个优先级低的管道类中的process_item方法接收到

 

返回顶部

# open_spider(self, spider)方法:
　　1.open_spider()方法是在Spider开启的是后被自动调用的,可以在该方法方法中做一些初始化的操作,如数据库的连接操作.

　　2.open_spider的参数为self, spider,固定的.

 

# close_spider(self, spider)方法:
2　　 1.close_spider()方法是在spider关闭的时候自动调用的,该方法中可以实现一些收尾的工作,如关闭数据库连接
　　2.spider和self参数是固定的, spider是被关闭的对象

 

# from_crawler(cls, crawler)方法:
　　1.该方法是一个类方法,应该用@classmethod进行装饰.
　　2.该方法的作用是通过crawler对象,可以获取scrapy的所有核心组件,如全局的配置信息

 

# 在管道类中各方法执行顺序:(大致是这样的, 有助于理解后续管道类连接数据库持久化存储)
　　　　　　1.from_crawler()
　　　　　　2.__init__()
　　　　　　3.open_spider()
　　　　　　4.process_item()
　　　　　　5.close_spider()

 

返回顶部

---

5.Pipeline相关配置信息

在settings文件中有关于Pipeline的配置信息:

ITEM_PIPELINES ={
'qsbk.pipelines.QsbkPipeline':300,# qsbk项目中的pipelines, 对应QsbkPipeline管道类, 优先级为300
}

说明:
    1.自定义的管道类需要在settings文件中注册,键为管道类名,值为对应的管道类的优先级
    2.优先级数字越小,越先执行

 

返回顶部

---

6.Python操作三大主流数据库接口

# Python操作MySQL
import pymysql
classMysqlPipeline(object):
    def __init__(self, host, database, user, password, port):
　　　　self.host = host
　　　　self.database = database
　　　　self.user = user
　　　　self.password = password
　　　　self.port = port

　　@classmethod
　　def from_crawler(cls, crawler):
　　　　return cls(
　　　　　　host = crawler.settings.get('MYSQL_HOST'),
　　　　　　database = crawler.settings.get('MYSQL_DATABASE'),
　　　　　　user = crawler.settings.get('MYSQL_USER'),
　　　　　　password = crawler.settings.get('MYSQL_PASSWORD'),
　　　　　　port = crawler.settings.get('MYSQL_PORT')
　　　　)

　　def open_spider(self, spider):
　　　　self.db = pymysql.connect(self.host,self.user,self.password,self.database, charset='utf8', port=self.port)
　　　　self.cursor =self.db.cursor()

　　def process_item(self, item, spider):
　　　　data = dict(item)
　　　　keys =','.join(data.keys())
　　　　values =','.join(['%s']*len(data))
　　　　sql ='insert into %s(%s) values (s%)'%(item.table, keys, values)
　　　　self.cursor.execute(sql, tuple(data.values()))
　　　　self.db.commit()
　　　　return item

 

返回顶部

# Python操作MongoDB
import pymongo

classMongoPipeline(object):

　　def __init__(self, mongo_uri, mongo_db):
　　　　self.mongo_uri = mongo_uri
　　　　self.mongo_db = mongo_db

　　@classmethod
　　def from_crawler(cls, crawler):
　　　　return cls(
　　　　　　mongo_uri = crawler.settings.get('MONGO_URI'),
　　　　　　mongo_db = crawler.settings.get('MONGO_DB')
　　　　)

　　def open_spider(self, spider):
　　　　self.client = pymongo.MongoClient(self.mongo_uri)
　　　　self.db =self.Client[self.mongo_db]
20
　　def process_item(self, item, spider):
　　　　self.db[item.collection].insert(dict(item))
　　　　return item

　　def close_spider(self, spider):
　　　　self.client.close()

 

返回顶部

# Python操作Redis

from redis importStrictRedis

classRedisPipeline(object):

　　def __init__(self, redis_uri, redis_port , redis_db, redis_password):
　　　　self.redis_uri = redis_uri
　　　　self.redis_port = redis_port
　　　　self.redis_db = redis_db
　　　　self.reids_password = redis_password

　　@classmethod
　　def from_crawler(cls, crawler):
　　　　return cls(
　　　　　　redis_uri = crawler.settings.get('REDIS_URI'),
　　　　　　redis_port = crawler.settings.get('REDIS_USER'),
　　　　　　redis_db = crawler.settings.get('REDIS_DB'),
　　　　　　reids_password = crawler.settings.get('REDIS_PASSWORD')
　　　　)

　　def open_spider(self, spider):
　　　　redis =StrictRedis(host=self.reidis_uri, port=self.redis_port, db=self.redis_db, password=self.redis_password)

　　def process_item(item, spider):
　　　　redis.mset(dict(item))
27　　　　　return item

 

返回顶部

---

7.Image Pipeline —- 大文件下载

1.在scrapy框架中有专门针对大文件下载的管道类---ImagePipeline.该类继承ImagesPipeline类,需要自己实现三个方法: get_media_reqiests(), file_path(), item_completed()

2.三个方法:
　　　　1).get_media_requests():用于生成Request对象,引擎将Request加入到调度队列中,等待被调度执行下载.
　　　　2).file_path():定义下载的文件的保存文件名.
　　　　3).item_completed():当单个Item完成下载时的处理方法.下载成功返回item,下载失败抛出异常,则该item将被忽略.

3.settings配置文件中的配置项:
IMAGES_STORE ='./images'
ITEM_PIPELINE ={
'images360.pipelines.ImagePipeline':300,
'images360.pipelines.MongoPipeline':301,
'images360.pipelines.MysqlPipeline'302
}

 

返回顶部

---

8.Image Pipeline简单示例

from scrapy importRequest
from scrapy.exception importDropItem
from scrapy.pipeline.images importImagePipeline

classImagePipeline(ImagesPipeline):

　　def file_path(self, request, response=None, info=None):
　　　　url = request.url
　　　　file_name = url.split("/")[-1]
　　　　return file_name

　　def item_completed(self, results, item, info):
　　　　image_paths =[x['path']for ok, x in results if ok]
　　　　if not image_paths:
　　　　raist DropItem('图片下载失败')
　　　　return item

　　def get_media_requests(self, item, info):
　　　　yieldRequest(item['url'])

 

返回顶部