随笔分类 - 爬虫
摘要:# 通过检查或者抓包工具拿到网页真实的处理登录请求的地址 url = 'http://bbs.chinaunix.net/member.php?mod=logging&action=login&loginsubmit=yes&loginhash=Lk4hL' data = { 'username':'Benson3172', 'password':'081524..cyw' }...
阅读全文
摘要:requests模块 (注意与urllib.request 对比) get请求:resp = requests.get(url,headers=headers, params=data) # get请求传递参数是params=data 如若使用代理ip,则只需要再参数里添加proxies=pro 例
阅读全文
摘要:1 data = urllib.request.urlopen(url='http://www.sina.com') # 2 print(data.info()) # 获取网页的信息 3 print(data.getcode()) # 获取爬去过后是否成功的状态码 4 print(data.geturl()) # 获取爬取的url 5 print(data.read()) # 获取爬...
阅读全文

浙公网安备 33010602011771号