摘要：
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级 阅读全文
posted @ 2018-06-05 01:55
阿谋
阅读(298)
评论(0)
推荐(0)
摘要：
ProxyHandler处理器（代理设置） 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁 阅读全文
posted @ 2018-06-05 01:55
阿谋
阅读(401)
评论(0)
推荐(0)
摘要：
HTTPPasswordMgrWithDefaultRealm() HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象，用来保存 HTTP 请求相关的用户名和密码，主要应用两个场景： ProxyBasicAuthHandler(代理授权验证) 如果我们使用之前 阅读全文
posted @ 2018-06-05 01:55
阿谋
阅读(985)
评论(0)
推荐(0)
摘要：
.bash_profile文件存在于用户主目录下，绝对路径为/home/$name/.bash_profile.bash_profile文件是隐藏文件，里面包含的是用户的用户的环境变量。 注意: 这个文件不一定存在，如果存在，就在 ~/ ，即 ~/.bash_profile但也很可能不存在，这时创建 阅读全文
posted @ 2018-06-05 00:50
阿谋
阅读(738)
评论(0)
推荐(0)
浙公网安备 33010602011771号