上一页 1 ··· 17 18 19 20 21 22 23 24 25 ··· 34 下一页
摘要: Cookie Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪,而储存在用户浏览器上的文本文件,Cookie可以保持登录信息到用户下次与服务器的会话。 Cookie原理 HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息 阅读全文
posted @ 2018-06-05 03:10 阿谋 阅读(1344) 评论(0) 推荐(0)
摘要: HTTPPasswordMgrWithDefaultRealm() HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象,用来保存 HTTP 请求相关的用户名和密码,主要应用两个场景: ProxyBasicAuthHandler(代理授权验证) 如果我们使用之前 阅读全文
posted @ 2018-06-05 01:55 阿谋 阅读(943) 评论(0) 推荐(0)
摘要: ProxyHandler处理器(代理设置) 使用代理IP,这是爬虫/反爬虫的第二大招,通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。 所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁 阅读全文
posted @ 2018-06-05 01:55 阿谋 阅读(387) 评论(0) 推荐(0)
摘要: Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级 阅读全文
posted @ 2018-06-05 01:55 阿谋 阅读(274) 评论(0) 推荐(0)
摘要: .bash_profile文件存在于用户主目录下,绝对路径为/home/$name/.bash_profile.bash_profile文件是隐藏文件,里面包含的是用户的用户的环境变量。 注意: 这个文件不一定存在,如果存在,就在 ~/ ,即 ~/.bash_profile但也很可能不存在,这时创建 阅读全文
posted @ 2018-06-05 00:50 阿谋 阅读(709) 评论(0) 推荐(0)
上一页 1 ··· 17 18 19 20 21 22 23 24 25 ··· 34 下一页