2019年6月20日
爬虫-scrapy的中间件
摘要： scrapy的中间件 下载中间件 作用: 处于引擎和下载器之间,因此该中间件可以批量拦截整个工程中发起所有的请求和响应 拦截请求可进行的操作 进行代理IP request.meta['proxy'] = 'http://ip:port' 进行UA伪装 request.headers['User Ag 阅读全文
posted @ 2019-06-20 21:50 Yeokrin 阅读(184) 评论(0) 推荐(0) 编辑