吉阿吉

2021年4月19日

Scrapy下载器中间件

摘要： 中间件：批量拦截请求和响应，分为爬虫中间件和下载中间件，通常只用下载中间件。 一、实现随机User-Agent下载器中间件 1、准备user-agent列表 2、定义RandomUserAgent类 3、实现process_request方法 #request拦截到的请求，spider爬虫类实例化的 阅读全文

posted @ 2021-04-19 22:58 吉阿吉 阅读(114) 评论(0) 推荐(0)

PhantonJS

摘要： 一、设置User-Agent，否则会出现无法跳转链接 阅读全文

posted @ 2021-04-19 22:22 吉阿吉 阅读(28) 评论(0) 推荐(0)

导航