scrapy系列1--ItemLoader讲解

scrapy提供了一个强大的工具类ItemLoader，本文通过一个实例介绍一些常用用法。

以链家的一个具体房源为目标，页面大概长这样的

 

我们的目标是提取出红框中的信息。

编写items 

 

编写spider

ItemLoader有三个常用的函数，add_xpath，add_css，add_value，前面两个功能类似，第一个参数是抓取信息的名字，第二个参数是xpath或css表达式，第二和第三个add_xpath都是type字段，会将第二个抓取到的信息放到第一个后面。add_value第二个参数把值赋给第一个参数名称，这里以时间为值。且后面可以加正则表达式，如注释那一行所写。

运行结果如下：

type是一个有两个元素的列表，如何把两个元素合并起来，在很多电商网站会将商品价格拆分为多个，合并是很有必要的。

只需在items文件的Scrapy1Item类中修改为下面这种形式

from scrapy.loader.processors import Jointype = scrapy.Field(output_processor=Join())

 

导入Join函数，定义output_processor即可。

运行结果：

ItemLoader抓取到的是一个列表，我们可以重定义一个Item类，取列表中的第一个元素。

在items文件中再创建一个类：

from scrapy.loader.processors import TakeFirst

class TeItem(ItemLoader):

    default_output_processor = TakeFirst()　

　　

TakeFirst即是指取第一个不为空的元素。在spiders中要导入这个类，并实例化ItemLoader时用TeItem类：

sel = ItemLoader(item= Scrapy1Item(),response=response)