爬虫
今日内容
1.爬虫介绍
2.request模块介绍
3.request发送get请求
4.request携带参数
5.url编码解码
6.携带请求头
7.发送post请求,携带数据
8.自动登录，携带cookie的两种方式
9.requests.session的使用
10.补充post请求携带数据编码格式
11.响应Response对象
12.编码问题
13.下载图片，视频
1.爬虫介绍
爬虫是什么
爬虫就是程序---》从互联网中，各个网站上，爬取数据[你能浏览的页面才能爬]，做数据清洗，入库
爬虫的本质
模拟方式http请求，获取数据---》入库
网站
app：抓包
补充：百度其实就是一个大爬虫
百度爬虫一刻不停的在互联网中爬取各个页面---》爬取完后---》保存到自己的数据库中
你在百度搜索框中搜索---》百度自己的数据库查询关键字---》返回回来
点击某个页面----》跳转到真正的地址上
seo：
sem：充钱的
咱们学习的
模拟发送http请求
requests模块
selenium
反扒：封ip：ip代理，封账号：cookie池
解析数据：bs4
入库：mysql，redis，文件中
爬虫框架：scrapy
2.request模块介绍
使用python如何发送http请求
模块：requests模块,封装了python内置模块urllib
使用requests可以模拟浏览器的请求（http），比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3)
安装
pip3 install requests
3.request发送get请求
import requests
res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html')
print(res.text)
如果有的网站，发送请求，不返回数据，人家做了反扒---》拿不到数据，学习如何反扒
res = requests.get('https://dig.chouti.com/')
print(res.text)
4.request携带参数
import requests
方式一：直接拼接到路径中
res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html?name=lqz&age=19')
方式二：使用params参数
res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html',params={'name':"lqz",'age':19})
print(res.text)
print(res.url)
5.url编码解码
import requests
from urllib.parse import quote,unquote
res = requests.get('https://www.cnblogs.com/liuqingzheng/p/16005866.html',params={'name':"彭于晏",'age':19})
print(res.text)
如果是中文，在地址栏中会做url的编码：彭于晏：%E5%BD%AD%E4%BA%8E%E6%99%8F
print(res.url)
'https://www.baidu.com/s?wd=%E5%B8%85%E5%93%A5'
编码：
res=quote('彭于晏')
print(res)
解码
res=unquote('%E5%BD%AD%E4%BA%8E%E6%99%8F')
print(res)
6.携带请求头
反扒措施之一，就是请求头
http请求中，请求头中有一个很重要的参数 User-Agent
表明了客户端类型是什么：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36
如果没有带这个请求头，后端就禁止
request发送请求，没有携带该参数，所以有的网站就禁止了
import requests
http请求头：User-Agent，cookie，Connection
http协议版本间的区别
Connection: keep-alive
http协议有版本：主流1.1 0.9 2.x
http 基于TCP 如果建立一个http链接---》底层创建一个tcp链接
1.1比之前多了keep-alive
2.x比1.x多了 多路复用
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}
res = requests.get('https://dig.chouti.com/',headers=headers)
print(res.text)
7.发送post请求,携带数据
import requests
携带登录信息，携带cookie
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36',
'Cookie': ''
}
post请求，携带参数
data = {
'linkId': '38063872'
}
res = requests.post('https://dig.chouti.com/link/vote', headers=headers, data=data)
print(res.text)
双token认证
8.自动登录，携带cookie的两种方式
登录功能，一般都是post
import requests
data = {
'username': '',
'password': '',
'captcha': '3456',
'remember': 1,
'ref': 'http://www.aa7a.cn/',
'act': 'act_login'
}
res = requests.post('http://www.aa7a.cn/user.php',data=data)
print(res.text)
响应中会有登录成功的的cookie，
print(res.cookies) # RequestsCookieJar 跟字典一样
拿着这个cookie，发请求，就是登录状态
访问首页，get请求，携带cookie，首页返回的数据一定会有 我的账号
携带cookie的两种方式 方式一是字符串，方式二是字典或CookieJar对象
方式二：放到cookie参数中
res1=requests.get('http://www.aa7a.cn/',cookies=res.cookies)
print('616564099@qq.com' in res1.text)
9.requests.session的使用
为了保持cookie ，以后不需要携带cookie
import requests
data = {
'username': '',
'password': '',
'captcha': '3456',
'remember': 1,
'ref': 'http://www.aa7a.cn/',
'act': 'act_login'
}
session = requests.session()
res = session.post('http://www.aa7a.cn/user.php', data=data)
print(res.text)
res1 = session.get('http://www.aa7a.cn/') # 自动保持登录状态，自动携带cookie
print('616564099@qq.com' in res1.text)
10.补充post请求携带数据编码格式
import requests
# data对应字典，这样写，编码方式是urlencoded
requests.post(url='xxxxxxxx',data={'xxx':'yyy'})
# json对应字典，这样写，编码方式是json格式
requests.post(url='xxxxxxxx',json={'xxx':'yyy'})
# 终极方案，编码就是json格式
requests.post(url='',
data={'':1,},
headers={
'content-type':'application/json'
})
11.响应Response对象
Response相应对象的属性和方法
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}
respone=requests.get('http://www.jianshu.com',headers=headers)
# respone属性
print(respone.text) # 响应体转成了字符串
print(respone.content) # 响应体的二进制内容
print(respone.status_code) # 响应状态码
print(respone.headers) # 响应头
print(respone.cookies) # cookie是在响应头，cookie很重要，它单独做成了一个属性
print(respone.cookies.get_dict()) # cookieJar对象---》转成字段
print(respone.cookies.items()) # cookie的键值对
print(respone.url) # 请求地址
print(respone.history) # 不用关注
print(respone.encoding) # 响应编码格式
12.编码问题
有的网站，打印
res.text --->发现乱码---》请求回来的二进制---》转成了字符串---》默认用utf8转---》
response.encoding='gbk'
再打印res.text它就用gbk转码
13.下载图片，视频
import requests
# res=requests.get('http://pic.imeitou.com/uploads/allimg/230224/7-230224151210-50.jpg')
# # print(res.content)
# with open('美女.jpg','wb') as f:
# f.write(res.content)
res=requests.get('https://vd3.bdstatic.com/mda-pcdcan8afhy74yuq/sc/cae_h264/1678783682675497768/mda-pcdcan8afhy74yuq.mp4')
with open('致命诱惑.mp4','wb') as f:
for line in res.iter_content():
f.write(line)
浙公网安备 33010602011771号