摘要：一、概述 1、中间件的作用 在scrapy运行的整个过程中，对scrapy框架运行的某些步骤做一些适配自己项目的动作： 例如：scrapy内置的httpErrorMiddleware，可以在http请求出错时做一些处理。 2.中间件的使用方法 配置settings.py 二、中间件的分类 scrapy的中间件理论上又三种（Scduler Middlew... 阅读全文