urllib3使用池管理发送请求和requests常用方法的基本使用+session使用

使用urllib3的池管理器

  　urllib3是在urllib进行更加深入的改进，最大的好处就是在urllib的基础上添加了池管理，以至于我们不需要再去注意我们需要由那个链接去发送请求，而只需要获取到链接发送回来的相应的数据。这样就可以大大减少我们对于链接的管理。

　　urllib3的请求发送其实很简单，只是将需要发送请求的链接添加到池中，池管理器就会自动按照流程继续流程进行信息的发送。

　　以下面一个例子进行简单的联系。

'''
@Description: 使用urllib3中的链接池发送请求
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-01 17:38:54
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-04 19:15:02
'''
import urllib3
from urllib import parse
import simplejson
import random

#设置多个请求头，防止被反扒措施进行拦截
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#随机pick one
ua = random.choice(ua_list)

#以https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=10&page_start=0 为例
#将链接进行分割，将Ajax需要传递的参数存储到字典中
url = "https://movie.douban.com/j/search_subjects"
d = {
    'type':'movie',
    'tag':'热门',
    'page_limit':'10', 
    'page_start':'0'
} 

#使用urllib3中的池管理方法进行连接。
with urllib3.PoolManager() as http:
    response = http.request('GET','{}?{}'.format(url,parse.urlencode(d)),headers={
    'User-agent':ua
    })
    print(type(response)) #获取方法响应的类型
    print(response.status,response.reason) #获取状态码和响应结果
    # print(response.headers) #获取头信息
    # print(response.data) #获取数据

---

 

 requests库的常用的方法

　　requests库使用了urllib3的内容，他的API的使用比urllib3更加的友好，同时他也在urllib3 的基础上添加了许多的方法，同时去除了urllib3中的糟粕。requests中提供了method方法，使得我们可以在发送请求的同时可以指定发送请求的类型。

　　同时，为了管理请求更加方便，它采用session的方式进行回话的保持，使得我们能够在session和cookie之间来回进行信息的传递。

　　下面的两段代码大体实现了requests的常用方法和session发送请求的基本方式。

'''
@Description: 
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-04 19:14:12
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-04 20:30:20
'''

import requests
from urllib.parse import urlencode
import random

#设置多个请求头，防止被反扒措施进行拦截
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#随机pick one
ua = random.choice(ua_list)

#以https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=10&page_start=0 为例
#将链接进行分割，将Ajax需要传递的参数存储到字典中
j_url = "https://movie.douban.com/j/search_subjects"
d = {
    'type':'movie',
    'tag':'最新',
    'page_limit':'10', 
    'page_start':'0'
} 
url = '{}?{}'.format(j_url,urlencode(d)) #必须进行转码，否则无法获取到数据
response = requests.request('GET',url,headers={
    'User-agent':ua
})

with response:
    print(response.status_code) #打印响应的状态码
    print(type(response)) #打印响应的response的类型
    print(response.url) #打印最终响应的url
    print(response.headers) #打印响应的头信息
    print(response.request.headers) #打印发送请求的头信息
    print(response.text[:200]) #当我们获取到的数据量比较大的时候，为了方便进行验证，可以将获取到的网页数据转换为文本格式并进行切片处理