step1

• 准备工作：

Chrome浏览器插件

  1,安装步骤

    1,右上角 - 更多工具 - 扩展程序

2,点开右上角 - 开发者模式

3,把插件 拖拽到 浏览器页面 释放鼠标 点击 添加拓展 ...

  2,插件介绍

    1,Proxy SwitchOmega：代理插件

2,Xpath Helper：网页数据解析插件

3,JSON View:查看JSON格式的数据(好看)

Fiddler抓包工具

  1,抓包设置

    1,Tools > options > HTTPS > ... > from browsers only

2,Connnections :设置端口号8888(默认)

  2,设置浏览器的代理

    Proxy SwitchOmega > 选项 > 新建情景模式 > HTTP 127.0.0.1 8888 > 应用选项

• 爬取数据的步骤：

  1,确定需要爬取的URL地址

  2,通过HTTP/HTTPS协议来获取相应的HTML页面

  3,提取页面有用的数据

    1,所需数据，保存

    2,页面中有其他的URL，继续第2步