2020年7月8日
返回码418，scrapy 重新请求
摘要： 问题情景： scrapy爬取网页，返回值418（按照请求来说，是一个完整的网络请求）。说明此接口已经被后台爬虫检测程序检测到了。 通过研读scrapy文档，在自定义的418检测下载中间件里面，process_response中检测返回值，并设置request的http/https代理,然后retur 阅读全文
posted @ 2020-07-08 18:42 xunhanliu 阅读(970) 评论(0) 推荐(0) 编辑