44、移动端爬虫
移动端爬虫
爬虫除了 Web 网页,也可以抓取 App 的数据。App 中的页面要加载出来,首先需要获取数据,而这些数据一般是通过请求服务器的接口来获取的。由于 App 没有浏览器这种可以比较直观地看到后台请求的工具,所以主要用一些抓包技术来抓取数据
1. 抓包工具的安装
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的进出Fiddler的数据(指cookie,html,js,css等文件)
Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式
下载地址:
Download Fiddler Web Debugging Tool for Free by Telerik
1.1 安装
1.2 配置Fiddler
- 设置允许远程连接,勾选Allow remote computers to connect,默认的端口为8888.
-
fiddler默认只抓取http协议的请求,需要修改配置实现抓取https协议的请求
勾选Decypt HTTPS traffic,会有证书安装的窗口弹出,都选择YES,全部配置完成后重启fiddler
2. 模拟器配置
夜神模拟器
官网: 夜神安卓模拟器-安卓模拟器电脑版下载-官网 (yeshen.com)