11 2016 档案

scrapy新版本特性
摘要：1：在spider中返回一个自定义的字典,老版本中需要先定义一个Item，填充后再返回一个对象 新版本中可以直接返回一个字典 2:Per-spider settings 为每个spider进行单独设置,以前只能在settings文件中设置，在settings中的设置是全局的会作用到每个spider， 阅读全文
posted @ 2016-11-15 11:47 kakaok 阅读(1240) 评论(0) 推荐(0)
scrapy 为每个pipeline配置spider
摘要：在settings.py里面配置pipeline，这里的配置的pipeline会作用于所有的spider，我们可以为每一个spider配置不同的pipeline， 设置 Spider 的 custom_settings对象属性 class UserInfoSpider(CrawlSpider): # 阅读全文
posted @ 2016-11-14 15:22 kakaok 阅读(2727) 评论(4) 推荐(0)