2021/2/2-1

 

 超时参数timeout的使用

import requests
url = 'https://twitter.com'
response = requests.get(url, timeout=3)
代理ip

url = 'https://www.baidu.com'
# response = requests.get(url)
proxies = {'http': 'http://113.204.164.194:80'}  # , 'https': 'https://114.238.144.199:9999'}
response = requests.get(url, proxies=proxies)
print(response.text)
使用cerify参数从ca证书

# url = 'https://www.baidu.com'
# response = requests.get(url, verify=False)

# request模块发送post请求
import json
class King(object):
    def __init__(self):
        self.url = '地址'
        self.headers = {'': ''}
        self.data = {}
    def get_data(self):
        response = requests.post(self.url, data=self.data, headers=self.headers)
        return  response.content
    def parse_data(self):
        dict_data = json.loads()
        print(dict_data['content']['out'])
    def run(self):
        # 编写爬虫逻辑
        # url
        # headers
        # data字典
        # 发送请求获取相应
        response = self.get_data()
        # 数据解析
        self.parse_data(response)
if __name__ == '__main__':
    king = King()
    king.run()
post数据来源
1.固定值   抓包比较不变值
2.输入值   抓包比较根据自身变化值
3.预设值-静态文件  需要提前从静态html中获得
4.预设值-发请求  需要对指定地址发送请求
5.客户端生成  分析js，模拟生成数据

'''
request.session的作用以及场景
作用:自动处理cookie，即下一次请求i会带上前一次的cookie
场景：自动处理连续的多次请求过程中产生的cookie
session = requests.session()
response = session.get()
response = session.post()
'''