2018年10月6日
scrapy几种反反爬策略
摘要： 一.浏览器代理 1.直接处理： 1.1在setting中配置浏览器的各类代理： 1.2然后在各个请求中调用： 1.3缺点： 使用麻烦，各个请求都要调用，而且耦合性高。 2.使用downloader-middlewares： 2.1使用downloader-middleware(setting中默认是 阅读全文
posted @ 2018-10-06 21:00 biu嘟 阅读(3100) 评论(0) 推荐(0)