许海涛---第二次作业

这个作业属于哪个课程	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass
这个作业要求在哪里	https://edu.cnblogs.com/campus/fzzcxy/ZhichengSoftengineeringPracticeFclass/homework/12532
这个作业的目标	<学会使用FIddler抓包、json解析以及使用代码对抓取到的数据进行排版输出，以及养成良好的编码习惯>
Github 地址	https://gitee.com/xht1017/tt212106788.git

前提工作概述

由于是首次接触抓包，因此先去CSDN上查询了相关资料，先对抓包也就是所谓的爬虫有一个大概的了解，这里附上链接。

• CSDN：https://blog.csdn.net/I39mOK/article/details/78562582?ops_request_misc=%257B%2522request%255Fid%25

接着在小破站上系统性的学习了Fiddler抓包工具的使用，并进行实测。

• bilibili：https://www.bilibili.com/video/BV1vM4y1V78M?p=25&spm_id_from=333.880.my_history.page.click

本次编码选择的语言为python，之前在大专期间有稍微学习过。由于长时间未使用，大部分内容都已忘记，于是又花了一定量的时间进行一个简单的复习。最后，正式展开本次作业项目的工作。

---

1.使用Fiddler工具进行抓包，json解析

• 首先，通过微信客户端小程序打开朴朴商城选择指定商品
  
• 配置Fiddler的Tools工具中的Option选项，启用捕获HTTPS链接。接着正式使用Fiddler工具开始抓包以获取对应的url与请求头，查看json解析获取需要的信息
  
  

---

2.使用pycharm开发环境进行编码

• 配置从fiddler中获取的网页链接与请求头
  
• 请求网页并设置编码
  
• 主方法获取商品属性，并使用json解析转化字典格式,并排版输出展示商品信息
  
• 设置输出频率，实现监听价格变动
• 最终效果
  

完整代码

import json
import time
import requests

# 朴朴商品网址
url = 'https://j1.pupuapi.com/client/product/storeproduct/detail/' \
  '7c1208da-907a-4391-9901-35a60096a3f9/67ad68ce-9f41-4dbd-b6ef-823390ed2e7b'
# 请求头
head = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
              ' Chrome/53.0.2785.143 Safari/537.36 MicroMessenger/7.0.9.501 NetType/WIFI MiniProgramEnv/Windows WindowsWechat'
}

# 网页请求并设置编码
def demand():
    response = requests.get(url, headers=head)
    response.encoding = 'utf-8'
    return response

# 将获取到的内容转化成字典格式,并获取商品相应属性
# 属性：商品名称、价格、规格、原价、商品简介
def getvalue():
    obtain = demand().text
    digital = json.loads(obtain)
    productdata = digital.get('data')
    pname = productdata.get('name')
    pprice = productdata.get('price')
    pspec = productdata.get('spec')
    orprice = productdata.get('market_price')
    detail = productdata.get('share_content')
# 输出排版
print('-------------------------------商品: ' + pname + '------------------------------------------''\n'
    '规格：' + pspec + '\n'
    '价格：' + str( format(float(pprice) / 100)) + '元' + '\n'
    '原价/折扣：' + str(format(float(orprice) / 100)) + '元' + '/' + str(format(float(pprice) / 100)) + '元' + '\n'
    '详情内容：' + detail + '\n'
    '-------------------------------' + pname + '' + pspec + '的价格波动------------------------------')

# 二次请求并将转化后的价格输出，观察价格浮动
while (1):
    # 设置输出频率
    time.sleep(6)
    response = requests.get(url, headers=head)
    response.encoding = 'utf-8'
    obtain = response.text
    digital = json.loads(obtain)
    productdata = digital.get('data')
    pprice = productdata.get('price')
    print('当前时间为' + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()) + '， 价格为' + str(
        format(float(pprice) / 100)) + '元')

if __name__ == '__main__':
    demand()
    getvalue()

---

3.使用Gitee push&commit 代码

---

总结

   本次作业的基础部分顺利完成，当然少不了磕磕碰碰，例如使用fiddler抓包工具时，校园网  处于断开状态，只能通过移动端开热点解决问题。一开始打算使用移动端app作为抓包的抓取对象，给手机配置了代理等等，一系列操作下来发现朴朴app的网络被禁用了，其他软件都可以正常使用，看来应该是朴朴的反爬机制。最后还是选择了客户端微信的小程序可正常操作。写代码时，也有些许问题，也去网上查询了一些资料进行参考，还好都迎刃而解了。总而言之，本次作业让我学到了很多新知识，收益匪浅，希望接下来能更进一步的提升自我。 （由于能力与时间有限进阶、高阶目前正则研究中，一有成果便补充上）

---