python

常用请求头信息
User-Agent：请求载体的身份标识
Connection：请求完毕后，是断开连接还是保持连接

常用响应头信息
Content-Type：服务器响应客户端的数据类型

案例

1

import requests
url = “https://www.amazon.cn/”
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
print(“爬取成功”)
except:
print(“爬取失败”)

2

import requests
url = “https://www.amazon.cn/”
try:
kv = {‘user-agent’:‘Mozilla/5.0’}
r = requests.get(url,headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
print(“爬取成功”)
except:
print(“爬取失败”)