Request|py01

文章概览

• Requests入门
• 数据解析

一、Requests入门

安装requests

 在pycharm的命令控制行中输入如下命令：

pip install requests

 如果下载太慢的话可以选择镜像。（搜索pip清华源或者阿里源）

这里选择临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

requests爬取搜狗搜索

 根据输入的参数，爬取搜狗搜索结果页面。

import requests

query = input("输入一个关键词")

url = f'https://www.sogou.com/web?query={query}'

dic = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
}

resp = requests.get(url, headers=dic)

print(resp)
print(resp.text)

requests爬取百度翻译

 爬取百度翻译，打开抓包工具，注意输入法切换成英文，输入单词。

 找到携带dog的请求，找到url和参数编写代码。

import requests

url = 'https://fanyi.baidu.com/sug'

s = input("请输入英文单词")

data = {
    "kw": s
}

resp = requests.post(url, data=data)
print(resp.json()) # 将服务器返回的内容直接处理成json

requests爬豆瓣电影

 抓包工具中XHR一般是第二次请求，也就是ajax请求。

 从XHR分类下找到我们要爬取的内容。

 复制url，如果url携带的参数过多，可以使用参数字典来存放参数。

 复制下图参数

 在代码中添加上一步复制的url和参数。

 这种方式其实是把参数整合到request请求的url中，跟直接复制带参数的url效果一样，如图。

关于如何快速加入双引号

打开设置

选中如图选项

在代码中选中代码块，点击双引号即可。