摘要：scrapy发送邮件 应用场景：在爬虫关闭或者爬虫空闲时可以通过发送邮件的提醒。 通过twisted的非阻塞IO实现,可以直接写在spider中，也可以写在中间件或者扩展中，看你具体的需求。 在网上找了很多教程，都是很多年前的或者就是官网搬运的，一点实际的代码都没有，所以就自己尝试了一下，由于本人也 阅读全文

摘要：Image Pipeline Scrapy 提供了专门下载文件或者图片的Pipeline，下载图片与文件的原理同抓取网页的原理是一样的，所以他们的下载过程支持多线程与异步，十分的高效 Image Pipeline的工作流程 1. itemPipeline从item中获取需要下载的数据，通过Reque 阅读全文