摘要:
cookie 如果一个相应中包含了cookie,那么可以利用cookie属性拿到这个返回的cookie值: session 之前用urllib库,是可以使用opener发送多个请求,多个请求之间是可以共享cookie的,那么如果使用requests,也要达到共享cookie的目的,那么可以使用req 阅读全文
posted @ 2019-06-26 21:59
wy0925
阅读(793)
评论(0)
推荐(0)
摘要:
import requests proxy = { 'http': '125.123.137.2208:9999' } res = requests.get('http://httpbin.org/ip', proxies=proxy) print(res.text) 阅读全文
posted @ 2019-06-26 21:49
wy0925
阅读(134)
评论(0)
推荐(0)
摘要:
文档地址:http://docs.python-requests.org/zh_CN/latest/index.html 阅读全文
posted @ 2019-06-26 21:23
wy0925
阅读(162)
评论(0)
推荐(0)
摘要:
过期的cookie也能获取到 阅读全文
posted @ 2019-06-26 17:49
wy0925
阅读(1186)
评论(0)
推荐(0)
摘要:
什么是cookie? 在网站中,HTTP请求时无状态的,也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是谁,cookie的出现就是为了解决这个问题,第一次登陆后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自 阅读全文
posted @ 2019-06-26 17:36
wy0925
阅读(676)
评论(0)
推荐(0)
摘要:
很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等)如果访问次数多的不像正常人,他会禁止这个IP的访问,所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。urllib中通过ProxyHandler来设置使用代理服务器,下面代码说明如何 阅读全文
posted @ 2019-06-26 10:12
wy0925
阅读(861)
评论(0)
推荐(0)