黄子炎---第二次作业

这个作业属于哪个课程	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532
这个作业的目标	使用 fiddler进行抓包并在控制台输出,锻炼面对新知识的自学能力
Github 地址	https://github.com/hzyzzz123/learngit

【必做】基础：使用 fiddler 抓包工具+代码，实时监控朴朴上某产品的详细价格信息

1. 解题思路描述

• 思考、找资料
  • 看到抓包的字眼的时候我就自然而然的想到了 爬虫 ,以前在专科大二的时候学习过python,虽然接触不深,但起码用过,自然而然的选择了python。但是fidder就真的是第一次接触,第一反应就是去B站寻找学习资料,正好我们软工实践F班的班群里林同学分享了B站的学习教程https://www.bilibili.com/video/BV1cr4y1T7rL,让我意识到一个团体为我学习带来的帮助,提高了不少效率。
• 尝试性实践多种方案可行性
  • B站的视频教程结合电脑模拟器来模拟手机抓包,本来想顺着这个思路下去,但是刚开始就遇到了阻力,配置wlan代理就出现了连不上网络无法下载证书的问题,最后居然更新模拟器解决了。还有更离谱的情况,换了不少模拟器最后得出结论电脑模拟器并不兼容朴朴,一打开朴朴就闪退,B站的教程爬的是短视频网站。之后我转变思路,我发现微信小程序有朴朴,我本想在模拟器下载微信然后开始工作,接着突然意识到,我为何不直接在微信电脑端打开小程序呢?用模拟器不就是多此一举吗?开始工作吧。

2. 题目完成过程

• 通过fidder获取商品的URL,并且拿到User-Agent浏览器标识
• 进入url确认需要的数据
• 使用python拿到url的数据将json转成字典
  
• 拿到商品的信息,使用方法getProductMessage
  
• 创建实时刷新函数并且调用方法
  
  266967706.png)
• 得到结果
  
• git提交至远程仓库
  
  

3. 总结

• 遇到问题如何解决的
  • requests包导入失败
    python爬虫搭建环境时需要得到发送的请求,必须安装requests包使用pip install requests提示要更新pip到22.04,使用官方的更新方法出来了更多的错误,最后我在csdn寻找解决的方法,都没有很好的效果,最后我选择卸载掉pip,去python官网下载了离线包,按照步骤进行安装,多次超时,之后经过搜索使用了清华大学的镜像站,完美解决问题
    
  • 控制台输出迟迟没有出现结果,最后报错
    去网上寻找,发现只要关闭fidder就可以排除错误
• 优化改进
  • 代码健壮性不够,python的基础知识薄弱导致不知道能怎么写得更完美