随笔分类 - python

摘要：当一个 scrapy 项目中有多个 pipeline 的时候必须要给 process_item 方法返回值，如果没有返回值的话，后面执行的 pipeline 将获取不到 item 。阅读全文

posted @ 2019-04-03 09:40 kkaiboo 阅读(357) 评论(0) 推荐(0)

摘要：1，此行代码是写在spider文件中的 2，虽然这一行代码会停止爬虫，但是这一行代码的停止并不是立即停止原因是因为当我们不更改爬虫的setting.py文件的时候，默认配置是： # Configure maximum concurrent requests performed by Scrapy 阅读全文