01.Python自动获取小说工具

1.1 怎么发送请求？

1.添加pip环境变量：右键“此电脑” → “属性” → “高级系统设置” → “环境变量” → “Path 的值“

2.安装：pip install requests 或者 python -m pip install requests
注意： Python 3.7.2 是 2018 年发布的旧版本，它内置的 OpenSSL 版本是 1.1.0j，而新版本的 urllib3（2.0+）要求至少 OpenSSL 1.1.1+ 
解决办法：降级 urllib3 到兼容版本（快速解决）
py -m pip install "urllib3<2.0"

3.验证 requests 模块加载成功
import requests
print(requests.__version__)  # 打印 requests 模块版本

------------------------------------------------ 执行后
C:\Users\马俊南\AppData\Local\Programs\Python\Python37\python.exe D:\Pycharm\code\python项目实战\01python自动获取小说工具\01.python自动获取小说工具.py 
2.31.0

Process finished with exit code 0

1.2 发送给谁

由网址的图片中信息可知，网址 https://www.xs386.com/10994/17181101.html 和请求方法 GET

1.3 发送请求

1.3.1 伪装信息

user-agent：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36

（Windows NT 10.0; Win64; x64) ：windows 10操作系统，win64，x64架构

（Chrome/141.0.0.0) ：谷歌浏览器

# 3.1 浏览器访问是正常用户,而代码访问需要伪装自己为正常浏览器
headers = {
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36'
}

1.3.2 访问获取

# 3.2 访问的 url 和 伪装用户信息
resp = requests.get(url,headers=headers)  # 使用 resp 接收服务器响应

1.3.3 设置编码

# 3.3 取得信息乱码, 需要设置编码
resp.encoding = 'utf-8'

1.3.4 报文拆取

# 安装lxml包 pip install lxml
from lxml import etree

 

 

1:02:40

 

1.4 响应信息

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

———————————————————————————————————————————————————————————————————————————

                                                                                                                         无敌小马爱学习