爬虫请求库--request

一.介绍

1.介绍

#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

#安装：pip3 install requests

#各种请求方式：常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

2.简单的引用：

import requests

response=requests.get("https://movie.douban.com/cinema/nowplaying/beijing/")
print(response.content)   # 字节数据
print(response.text)      # 字符数据
print(type(response))       # <class 'requests.models.Response'>
print(response.status_code) # 200
print(response.encoding)    # utf-8
print(response.cookies)     # <RequestsCookieJar[<Cookie bid=YwWqpRG7Z_E for .douban.com/>]>

 

二.GET请求

1.基本的get请求

import requests
response=requests.get('http://www.baidu.com/')
print(response.text)

2.带参数的get请求--params

（1）带参数的get用法一（请求内容不含中文）

#在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
import requests
response=requests.get('https://www.baidu.com/s?wd=python&pn=1',
                      headers={
                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
                      })
print(response.text)

（2）带参数的get用法二（请求内容中含有中文）

如果请求内容中含有中文（URL中含有中文），则需要对中文字符进行编码

方法一：使用urlencode

#如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码
from urllib.parse import urlencode
wd='王者荣耀'
encode_res=urlencode({'k':wd},encoding='utf-8')
keyword=encode_res.split('=')[1]
print(keyword)
# 然后拼接成url
url='https://www.baidu.com/s?wd=%s&pn=1' %keyword

response=requests.get(url,
                      headers={
                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
                      })
res1=response.text

方法二：使用requests模块（本质上是封装了urlencode）

#上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode
wd='王者荣耀'
pn=1
response=requests.get('https://www.baidu.com/s',
                      params={
                          'wd':wd,
                          'pn':pn
                      },
                      headers={
                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
                      })
res2=response.text

#验证结果，打开a.html与b.html页面内容一样
with open('a.html','w',encoding='utf-8') as f:
    f.write(res1) 
with open('b.html', 'w', encoding='utf-8') as f:
    f.write(res2)

3.带参数的get请求--headers

#通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下
Host
Referer #大型网站通常都会根据该参数判断请求的来源
User-Agent #客户端的主机信息和浏览器信息
Cookie  #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了

 

#添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
import requests
response=requests.get('https://www.zhihu.com/explore')
response.status_code #500


#自己定制headers
headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',

}
respone=requests.get('https://www.zhihu.com/explore',
                     headers=headers)
print(respone.status_code) #200

4.带参数的get请求--cookies

#登录一个网站之后，可以使用requests带着cookies进行访问页面的内容

#例如登录GitHub
import requests

Cookies={   'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',
}

response=requests.get('https://github.com/settings/emails',
             cookies=Cookies)

#判断是否成功可以用在页面上找到一个标记是否在下载的内容中
#例如：使用邮箱
print('458273429@qq.com' in response.text) #True

三.POST请求

1.介绍

#GET请求
HTTP默认的请求方法就是GET
     * 没有请求体
     * 数据大小（不同浏览器限制的大小不一样）
　　　　常见的浏览器URL字符数限制：（
　　　　　　ie浏览器对URL的最大限制为2083个字符。

　　　　　　Safari 浏览器的URL最大长度限制为 80,000个字符。

　　　　　　Google (chrome)浏览器的url长度限制为8182个字符。
　　　　　　　　　　　　　　　　） 
　　　　* GET请求数据会暴露在浏览器的地址栏中 GET请求常用的操作： 1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求 2. 点击页面上的超链接也一定是GET请求 3. 提交表单时，表单默认使用GET请求，但可以设置为POST

#POST请求
(1). 数据不会出现在地址栏中
(2). 数据的大小没有上限
(3). 有请求体
(4). 请求体中如果存在中文，会使用URL编码！

#！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

2.模拟登录GitHub示例

"""
思路分析：
    我们需要通过错误的用户名和密码，
    进行抓包，判断出网站的登录进过了哪些流程
    
实际操作：
    目标网站：https://github.com/login
    我们通过对github进行登录时候，发现他先将密码和用户名
    先发给了一个网址：https://github.com/session
    
    经过抓包分析得出：
        1.get请求：
            只需要请求头
            请求中包含以下
            headers={
                    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                    'Referer': 'https://github.com/',
                        },
             
        2.post请求，包含以下几个部分：
        1.请求头
        只需要以下数据：
        'Referer':'https://github.com/',
        
        Cookie:_octo=GH1.1.26981331.1513060810; 
        _ga=GA1.2.646250460.1513060810; l
        ogged_in=no; 
        tz=Asia%2FShanghai; 
        _gh_sess=eyJfY3NyZl90b2tlbiI6ImNjS2pmcDhQbS93RE81WjBQQnVtb3ZPdGZ1Z2huWllDME5qWERHOUhoajQ9IiwibGFzdF93cml0ZSI6MTUxNTU3NTc0NDY3NywiZmxhc2giOnsiZGlzY2FyZCI6W10sImZsYXNoZXMiOnsiYW5hbHl0aWNzX2xvY2F0aW9uX3F1ZXJ5X3N0cmlwIjoidHJ1ZSJ9fSwic2Vzc2lvbl9pZCI6IjkxMmNmMjAzZjU2ZGM2MDE4MjYyMTM1YTRhZjdmNzA5IiwibGFzdF9yZWFkX2Zyb21fcmVwbGljYXMiOjE1MTU1NzYyMTE5ODF9--89fdd259fd5cdda212fbe008ef76f64f3d620e19
        
        User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36
        
        2.请求体
        commit:Sign in
        utf8:✓
        authenticity_token:MNHlrWswwoze4jnB/y9Gi25SF7m0ESiKC2gwqGBVq5Z56VPW0NS5fBBvTXrG/Fkqjb7iDbpHOCYFxBgk22hA/w==
        login:dfdgdgd
        password:fdgdgdg
         
    通过以上分析：
        我们自己大概的思路是：
        第一步：
        向网址：https://github.com/login 发送get请求
        先拿到未授权的cookies和authenticity_token
        第二步：
        带着未授权的cookies，向网址：https://github.com/session 方post请求
        拿到授权的cookies
        第三步：
        带着cookies进行访问
        
    
"""

import requests
import re

# 这部操作可以让用户不用自己组装cookies信息
session = requests.session()

# 第一步：向https://github.com/login 发送get请求，先拿到未授权的cookies和authenticity_token

response = session.get('https://github.com/login', headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
})

authenticity_token = re.findall('name="authenticity_token".*?value="(.*?)"', response.text, re.S)

# 第二步：带着未授权的cookies和authenticity_token 向https://github.com/session发送 post请求

response2 = session.post('https://github.com/session',
                         headers={

                             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                             'Referer': 'https://github.com/',
                         },
                         data={
                             'commit': 'Sign in',
                             'utf8': '✓',
                             'authenticity_token': authenticity_token,
                             'login': '自己的登录账号（明文）',
                             'password': '自己的密码（明文）',
                         }
                         )

# 第三步：带着cookies进行访问
response3 = session.get('https://github.com/settings/emails',
                        headers={

                            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                            'Referer': 'https://github.com/',
                        },
                        )


print('458273429@qq.com' in response3.text) #True
GitHub登录

四.响应

1.响应的属性

import requests
response=requests.get('http://www.baidu.com')
#response属性
print(response.text)#文本信息
print(response.content)  #下载内容的二进制信息

print(response.status_code) #响应状态码
print(response.headers)  #响应头
print(response.cookies)  #cookies信息
print(response.cookies.get_dict())  #cookies信息的字典形式
print(response.cookies.items())   #cookies信息的元组形式，外面是列表

print(response.url)   #响应的网址
print(response.history)  #从哪里跳转过来的

print(response.encoding) #编码方式

# 如果下载的文件过大，可以使用.iter_content()方法(类似于迭代器)

with open('1','wb') as f :
    for line in response.iter_content():
        f.write(line)

2.编码问题

#编码问题
import requests
response=requests.get('http://www.autohome.com/news')
# response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码
print(response.text)

3.下载文件过大问题

#stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的

import requests

response=requests.get('https://v.autohome.com.cn/v-1643560.html#pvareaid=2029181',
                      stream=True)
with open('汽车.mp4','wb') as f:
    for line in response.iter_content():
        f.write(line)

4.json数据的处理

#解析json
import requests
response=requests.get('http://httpbin.org/get')

import json
res1=json.loads(response.text) #太麻烦

res2=response.json() #直接获取json数据


print(res1 == res2) #True

5.Redirection and History

import requests
import re

#第一次请求
r1=requests.get('https://github.com/login')
r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到authenticity_token

#第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
data={
    'commit':'Sign in',
    'utf8':'✓',
    'authenticity_token':authenticity_token,
    'login':'458273429@qq.com',
    'password':'******（明文密码）'
}






#测试一：没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面，r2代表新页面的response
r2=requests.post('https://github.com/session',
             data=data,
             cookies=r1_cookie  
             )

print(r2.status_code) #200
print(r2.url) #看到的是跳转后的页面
print(r2.history) #看到的是跳转前的response
print(r2.history[0].text) #看到的是跳转前的response.text


#测试二：指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面，r2代表的仍然是老页面的response
r2=requests.post('https://github.com/session',
             data=data,
             cookies=r1_cookie,
             allow_redirects=False
             )

print(r2.status_code) #302
print(r2.url) #看到的是跳转前的页面https://github.com/session
print(r2.history) #[]
示例

五.高级用法

1.SSL Cert Verification

#证书验证(大部分网站都是https)
import requests
respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端


#改进1:去掉报错,但是会报警告
import requests
respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
print(respone.status_code)


#改进2:去掉报错,并且去掉警报信息
import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get('https://www.12306.cn',verify=False)
print(respone.status_code)

#改进3:加上证书
#很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
#知乎\百度等都是可带可不带
#有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
import requests
respone=requests.get('https://www.12306.cn',
                     cert=('/path/server.crt',
                           '/path/key'))
print(respone.status_code)
View Code

2.使用代理（重点）

#官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies

#代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
import requests
proxies={
    'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码
    'http':'http://localhost:9743',
    'https':'https://localhost:9743',
}
respone=requests.get('https://www.12306.cn',
                     proxies=proxies)

print(respone.status_code)



#支持socks代理,安装:pip install requests[socks]
import requests
proxies = {
    'http': 'socks5://user:pass@host:port',
    'https': 'socks5://user:pass@host:port'
}
respone=requests.get('https://www.12306.cn',
                     proxies=proxies)

print(respone.status_code)
View Code

3.超时设置

#超时设置
#两种超时:float or tuple
#timeout=0.1 #代表接收数据的超时时间
#timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间

import requests
respone=requests.get('https://www.baidu.com',
                     timeout=0.0001)
View Code

4.认证设置

#官网链接：http://docs.python-requests.org/en/master/user/authentication/

#认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的
# 但本质原理是拼接成请求头发送
#         r.headers['Authorization'] = _basic_auth_str(self.username, self.password)
# 一般的网站都不用默认的加密方式，都是自己写
# 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法
# 得到加密字符串后添加到请求头
#         r.headers['Authorization'] =func('.....')

#看一看默认的加密方式吧，通常网站都不会用默认的加密设置
import requests
from requests.auth import HTTPBasicAuth
r=requests.get('xxx',auth=HTTPBasicAuth('user','password'))
print(r.status_code)

#HTTPBasicAuth可以简写为如下格式
import requests
r=requests.get('xxx',auth=('user','password'))
print(r.status_code)
View Code

5.异常处理

#异常处理
import requests
from requests.exceptions import * #可以查看requests.exceptions获取异常类型

try:
    r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:
    print('===:')
# except ConnectionError: #网络不通
#     print('-----')
# except Timeout:
#     print('aaaaa')

except RequestException:
    print('Error')
View Code

6.文件上传

import requests
files={'file':open('a.jpg','rb')}
respone=requests.post('http://httpbin.org/post',files=files)
print(respone.status_code)
View Code

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2018-01-09 20:31  明-少  阅读(298)  评论(0)    收藏  举报