2020年3月4日
scrapy异常状态码处理
摘要： scrapy异常状态码处理 在setting.py中加入 scrapy 的 state 默认只处理200到300之间 # 403状态的响应不被自动忽略，对403 的响应做个性化处理 HTTPERROR_ALLOWED_CODES = [403] # 遇到错误忽略掉不重新请求，则设成[] RETRY_ 阅读全文
posted @ 2020-03-04 17:36 小学弟- 阅读(1370) 评论(0) 推荐(0)