1、python-爬虫-request和beautifulsoup4模块-Fidder爬取网页工具

1、安装模块

>beautifulsoup4模块依赖于lxml模块

pip install lxml -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
pip install beautifulsoup4 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2、导入模块

import requests                      #获取网页
from bs4 import BeautifulSoup        #解析网页

3、安装Fidder工具：https://www.telerik.com/download/fiddler

>安装：

Fiddler Classic（经典版），这个版本是免费的，不过只能在Windows上使用。

Fiddler Everywhere可以在所有平台使用，并且相当于Fiddler Classic+postman，但是是收费的。

安装完后打开：

对Fiddler进行设置：打开工具栏->Tools->Fiddler Options->HTTPS
选中Capture HTTPS CONNECTs，因为我们要用Fiddler获取手机客户端发出的HTTPS请求，所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.