2018 年 7月 14 日随笔档案 - ystraw

2018年7月14日

摘要：使用request方便：阅读全文

posted @ 2018-07-14 19:34 ystraw 阅读(185) 评论(0) 推荐(0)

摘要： ProxyHandler处理器（代理设置）使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁阅读全文

posted @ 2018-07-14 13:09 ystraw 阅读(630) 评论(0) 推荐(0)

8-python模拟登入（无验证码）

摘要：方式： 1.手动登入，获取cookie 2.使用cookielib库和 HTTPCookieProcessor处理器阅读全文

posted @ 2018-07-14 13:03 ystraw 阅读(282) 评论(0) 推荐(0)

7-python自定义opener

摘要： Handler处理器和自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级阅读全文

posted @ 2018-07-14 13:00 ystraw 阅读(268) 评论(0) 推荐(0)