爬虫get请求的quote方法(编解码,把中文转成unicode)

# import  urllib.request
# # https://www.baidu.com/s?wd=%E9%9B%AA%E4%B9%8B%E4%B8%8B%E9%9B%AA%E4%B9%83
# # %E9%9B%AA%E4%B9%8B%E4%B8%8B%E9%9B%AA%E4%B9%83这个就是雪之下雪乃,也是unicode编解码。
# # 获取https://https://www.baidu.com/s?wd=雪之下雪乃www.baidu.com/s?wd=雪之下雪乃的网页源码
# url='https://www.baidu.com/s?wd=雪之下雪乃'
#
# # 请求对象的定制 右键检查network那里刷新一下第一个s?wd那个找到ua
# headers={
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.51'
# }

#
# request=urllib.request.Request(url=url,headers=headers)
# # 模拟浏览器向服务器发送请求
# response = urllib.request.urlopen(request)
# # 获取响应的内容
# content =response.read().decode('utf-8')
# print(content)
# # 打印出来会报错,因为雪之下雪乃他是汉字不是unicode编码,这时我们就需要把雪之下雪乃改变成unicode编码


import urllib.parse
import urllib.request
# https://www.baidu.com/s?wd=%E9%9B%AA%E4%B9%8B%E4%B8%8B%E9%9B%AA%E4%B9%83
# %E9%9B%AA%E4%B9%8B%E4%B8%8B%E9%9B%AA%E4%B9%83这个就是雪之下雪乃,也是unicode编解码。
# 获取https://https://www.baidu.com/s?wd=雪之下雪乃www.baidu.com/s?wd=雪之下雪乃的网页源码
url='https://www.baidu.com/s?wd='
# 请求对象的定制 右键检查network那里刷新一下第一个s?wd那个找到ua
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.51'
}
# 将雪之下雪乃转换为unicode编码的格式
# 我们需要依赖于urllib.parse 就变成unicode编码了
name =urllib.parse.quote('雪之下雪乃')
url = url + name
request=urllib.request.Request(url=url,headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 获取响应的内容
content =response.read().decode('utf-8')
print(content)
# 打印出来会报错,因为雪之下雪乃他是汉字不是unicode编码,这时我们就需要把雪之下雪乃改变成unicode编码
posted @ 2023-03-30 21:06  爱吃清蒸抱腌鱼的景斯  阅读(85)  评论(0)    收藏  举报