Scrapy中如何针对不同的Spider/Item分别进行处理

pipelines.py中有方法如下

def process_item(self, item, spider):

通过item参数,可以针对不同的Item进行处理,例如:

if isinstance(item, AAItem):

    ......

elif isinstance(item, BBItem):

    ......

通过spider参数,可以针对不同的Spider进行处理,例如:

if spider.name == 'SpiderXX':

    ......

elif spider.name == 'SpiderYY':

    ......

posted @ 2018-01-22 16:19  sam11  阅读(1943)  评论(0编辑  收藏  举报