聚焦爬虫的思路及其抓包

# 聚焦爬虫的设计思路：
1.确定的url，发起请求，获取响应
# 确定url，抓包完成，在网络请求过程中，会产生很多的数据包，抓包就是加在所有的数据包，并从中筛选出包含目标数据的数据包。
# 发起请求：requests.get(url,params,headers)
# headers：请求头，是一个字典
# params:请求参数，一个字典
# 获取响应：res=requests.get(),res是一个响应对象，res.text响应数据的文本形式
2.数据解析：从响应数据中抽离我们想要的目标数据
# 正则
# xpath
3.数据持久化
# 写文件，数据库
# 抓包：在网络请求的过程中