随笔分类 -  爬虫

摘要:# 通过检查或者抓包工具拿到网页真实的处理登录请求的地址 url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=Lk4hL' data = { 'username':'Benson3172', 'password':'081524..cyw' }... 阅读全文
posted @ 2018-06-16 13:11 BensonChang 阅读(281) 评论(0) 推荐(0)
摘要:requests模块 (注意与urllib.request 对比) get请求:resp = requests.get(url,headers=headers, params=data) # get请求传递参数是params=data 如若使用代理ip,则只需要再参数里添加proxies=pro 例 阅读全文
posted @ 2018-06-16 13:08 BensonChang 阅读(200) 评论(0) 推荐(0)
摘要:1 data = urllib.request.urlopen(url='http://www.sina.com') # 2 print(data.info()) # 获取网页的信息 3 print(data.getcode()) # 获取爬去过后是否成功的状态码 4 print(data.geturl()) # 获取爬取的url 5 print(data.read()) # 获取爬... 阅读全文
posted @ 2018-06-15 16:01 BensonChang 阅读(241) 评论(0) 推荐(0)