爬虫基础知识二
发送get,post请求，获取响应
-
安装requests模块：
pip install requests
-
response=requests.get(url,headers={})#发送get请求，请求url地址对应的响应
-
response=requests.post(url,headers=,{}data={}) #发送post请求
response的方法
-
response.text
-
response.content.decode()
-
把响应的二进制字节流转化为str类型
-
- response.request.url #发送请求的url地址
- response.url #响应的url地址
- response.request.headers #返回请求头
- response.headers #返回响应请求
获取网页源码的三种正确打开方式
- 1.response.content.decode()
- 2.response.content.decode("gbk")
- 3.response.text
发送带header的请求
- 为了模拟浏览器，获取和浏览器一模一样的内容
url="https://www.xxx.com"
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
"Referer": "https://movie.douban.com/tag/"}
response=requests.get(url,headers=headers)
