苏永威-第二次作业

这个作业属于哪个课程	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532
这个作业的目标	<使用fiddler抓包软件抓取数据，通过python输出数据>
Github 地址	https://gitee.com/su-yongwei/gitee-syw

一、Pyhton爬虫+Fiddler抓包实时监控朴朴

解题思路描述：

• 1、启动Fiddler配置证书.

• 2、电脑登入微信启动扑扑app

• 3、分析url+请求头用python模块对数据对其进行解析.

• 4、扑扑超市实时价格波动监控设计实现过程

• 

  

   

   

   

   

• 5、Gitee推送

• 

• 运行效果：

• 

二、Pyhton爬虫知乎收藏夹

解题思路描述：

• 1、查找相关内容与需要的数据

• 

   

   

   

   

• 2、python创建请求头响应数据核对数据正确性

• 

   

   

   

   

• 3、获取收藏夹内子文件的url

• 

   

   

• 4、提取需要的响应数据处理数据

• 

   

   爬取中遇到的问题：处理中呈现的问题：爬虫是在两年前学的，python可以有很多种数据提取的方法，但是很久没有去写过爬虫了，所以我印象中只剩下一个xpath，不知道是不是版本的原因，插件能提取到的数据到pycharm里面竟然没办法呈现出来，最终处理了一天也没显示出数据

• 

   

   

•  

   

• 5、Gitee推送

• 

   

   

三、Pyhton爬虫拉勾网

解题思路描述：

• 1、寻找需要的主数据

• 
  

   

   

• 2、pycharm中处理数据获取响应

• 
  

   

   

• 

   

   

• 

   

   

• 3、对数据进行爬取并解析处理

• 

   

   

• 4、用pycharm中的模块将数据转换成表格

• 

   

   

   

   

   

• 5、将表格转换成柱状图

• 

   

   

• 

   

   

• 

   

   

• 

   

   

• 6、Gitee推送

• 

   

   

四、Gitee仓库

 

 

 

 

 

 

五、总结

　　相比之前的实验本次的实验更具有挑战性，难度也相对第一次的难，本次实验让我回顾了之前学习的爬虫的些许知识，因为时间过于长所以记忆中的东西并不是很多，本次实验感觉到pycharm相对之前安装模块比较麻烦，因为版本的更新加上新下载的pycharm里面模块装的位置并不是对的让我感到很繁琐。

　　本次实验花费了大量的时间但也不是什么都没有收获，至少之前的知识相对的拾起了部分。本次实验的收获很大。