第二次作业-python爬取网页及数据分析
这个作业属于哪个课程 | <至诚软工实践F班> |
---|---|
这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532 |
这个作业的目标 | <写上具体方面> |
Github 地址 | https://github.com/2293153945/212106768/ |
一.【必做】基础:使用 fiddler 抓包工具+代码,实时监控朴朴上某产品的详细价格信息
1.准备工作
- 下载fiddler 抓包工具
- 下载Anaconda3(用Jupyter做)
- 了解fiddler作用,基本配置和功能
2.解题思路
- 首先先了解fiddler,这是我第一次听到这个软件,直接到B站找的教程,才知道fiddler是可以用来测试接口的抓包工具,然后就是配置
fiddler,下载并安装证书,手机和电脑连接同一个WiFi,并在手机上设置代理和安装证书(IOS还要设置信任证书,不然无法上网) - 然后利用fiddler找到对应URL和请求头
- 交给Python爬取并且解析出需要的信息(之前有爬取过简单的网站也是用的Jupyter)
3.功能实现
1.先用fiddler进行找出url和请求头
(1)在电脑上下载证书并安装,让电脑在使用fiddler代理时能够正常访问网络
(2)让手机和电脑连接同一个WiFi,并且在手机上配置代理电脑的ip地址和对应端口
(3)在手机上也下载证书并安装(ios要还设置信任)
(4)手机上访问朴朴app,在fiddler中找出要使用用的url,和请求头
2.用Python让其访问前面提取的url
二.【选做】进阶:爬取自己的知乎收藏夹,以每个收藏夹的名称为大类,其下展示各个具体收藏文章的名称及其链接。
1.准备工作
- 下载fiddler 抓包工具
- 下载Anaconda3
- 了解fiddler作用,基本配置和功能
2.解题思路
- 首先配置fiddler
- 利用fiddler找到对应URL和请求头
- 交给Python爬取并且解析出需要的信息
3.功能实现
1.先用fiddler进行找出url和请求头
(1)在电脑上下载证书并安装,让电脑在使用fiddler代理时能够正常访问网络
(2)让手机和电脑连接同一个WiFi,并且在手机上配置代理电脑的ip地址和对应端口
(3)在手机上也下载证书并安装(ios要还设置信任)
(4)手机上访问知乎app,在fiddler中找出要使用用的url,和请求头
2.用Python让其访问前面提取的url