网页爬虫之路 抓包

网页抓包工具

浏览器F12

缺点：只能抓单页面（有新标签页不能抓取）

Fiddler

抓取网页和APP

HTTP_Analyzer

抓取代码程序数据包

mitmproxy

独特的地方在于，可以载入自定义python脚本

Fiddler设置

导出证书

导出的证书会在桌面

浏览器导入证书

谷歌浏览器

火狐浏览器

抓包注意

抓包前，清空Cookie和缓存图片、文件