对于下载中间件
settings里的数字大小：
- process_request的顺序 数字越小，越先调用
- process_response 的顺序， 数字越大，越先调用
返回值：
process_request： 【None :继续调用下一个中间件的process_request方法；】
【Response object:预示着下载已经完成，就以返回的response作为下载结果，进而开始调用process_response方法】
【Request object: 将这个请求request添加到任务队列中，当前的request的process_request流程就结束了，没有其他操作了】
【抛出IgnoreRequest异常：将调用process_exception()，process_exception()如果没有处理该异常，则会继续调用errback来处理，如果errback
中也没有对它处理的，就会忽视该异常】
process_response : 【Response :这个response可以是传过来的response，也可以是一个新的response，将继续调用下一个process_response】
【Request :这个request将被添加到请求队列，然后该response的process_response流程就结束了】
【抛出IgnoreRequest异常：将调用request.errback方法处理，如果该方法中没有对此异常进行处理，此异常 将被忽视】
process_exception : 【None : 继续调用其他process_exception处理这个异常】
【Response object:开始调用process_response方法】
【Request object: 此request将被添加到请求队列，process_exception流程就结束了】
process_exception是在下载处理器（download handler）或下载中间件的process_request抛出异常时被调用的。
from_crawler : 这个方法是scrapy的核心属性的一个入口，用于创建中间件实例 。如果需要用到signals,settings，spiders等，可以通过crawler.settings这种操作来
获取，cls(crawler.stats)是调用这个方法所在的class来实例化一个对象，crawler.stats相当于传给__init__(self,stats)的参数stats
@classmethod
from_crawler(cls,crawler):
instance = cls(crawler.stats)
return instance
自定义retry中间件
from scrapy.downloadermiddlewares.retry import RetryMiddleware
import time
class CustomRetryMiddleware(RetryMiddleware):
def __init__(self,settings):
self.request_error = 0
super(CustomRetryMiddleware, self).__init__(settings)
def process_response(self, request, response, spider):
if request.meta.get('dont_retry', False):
return response
if response.status in self.retry_http_codes:
if response.status==429: #在这里可以添加一些逻辑，在重试请求之前，
spider.logger.info("[response]retry Middleware,Got 429 error,would stop 6 minutes,%s",request.url)
time.sleep(60*6)
spider.logger.info("[response]Retry Middleware ,response.status :%d,will start retry request,%s",response.status,request.url)
reason = response_status_message(response.status)
return self._retry(request, reason, spider) or response
return response
def process_exception(self, request, exception, spider):
if isinstance(exception, self.EXCEPTIONS_TO_RETRY) \
and not request.meta.get('dont_retry', False):
spider.logger.info("[exception]Retry Middleware ,exception :%s,will start retry request,%s",exception,request.url)
#返回一个request,到schedule中，等待下载，从重新走所有的middleware。
return self._retry(request, exception, spider)
要启用自定义的retry middleware ,需要将默认的RetryMiddleware设置为None
'DOWNLOADER_MIDDLEWARES' :{
'dayspider.middlewares.my_retry_middleware.CustomRetryMiddleware': 550,
'scrapy.downloadermiddlewares.retry.RetryMiddleware' : None,
},
下载异常
- 像是 响应超时，网络连接异常， forbidden 502这类的没有response的异常 直接被process_exception 捕获
- 像是 429（请求太频繁，403（禁止访问）500（服务器端返回一个表示错误的代码），有收到response的异常，可以用process_response进行处理
posted on
