部署一个Python爬虫环境（一）-Window版

一，部署环境及安装包

1.python3.7 —— python官网下载地址：https://www.python.org/downloads/ —— python安装教程（不要选择VS安装的python）

2.Python 包安装和管理工具pip —— https://pypi.python.org/pypi/pip#downloads —— windows上pip安装及使用详解

3.代理/抓包工具Mitmproxy （支持HTTP和HTTPS的抓包程序）—— github地址：https://github.com/mitmproxy/mitmproxy/ —— 代理工具 Mitmproxy （一）-虫师  /  详解安装mitmproxy以及遇到的坑和简单用法。

4.传输和存储数据工具protobuf (数据交互xml、json、protobuf格式比较) —— github地址：https://github.com/google/protobuf/ —— Google Protocol Buffer 的使用和原理

protobuf的github下载地址：https://github.com/protocolbuffers/protobuf/releases —— protobuf 的安装、protobuf的安装 和使用

二，需要的操作：

1. 服务器, 安装python 环境
2. pip 安装 mitmproxy , protobuf
3. 启动命令 : mitmdump -s .\mitm.py -q -p 8080

1.python安装效果：

 2.pip安装效果：

 3.cmd输入“pip install mitmproxy”安装Mitmproxy,出现443，

对策，指定数据源，cmd输入(以管理员模式运行cmd)：

 pip install mitmproxy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 

安装完成。

注：查看 mitmproxy版本方法：

mitmproxy --version  // window操作系统不支持使用 mitmproxy
mitmdump  // 可以用这个代替
mitmweb   // 或者这个

4.安装protobuf："pip install pyprotobuf"（pip安装protobuf时，这几个命令都是什么呀），虽然出现了下面的结果，但是不知道成没成功。

cmd输入：“import google.protobuf”，出现下图则证明成功。

 不成功对策：打开"https://github.com/protocolbuffers/protobuf/releases"，下载protoc与protobuf-python，如下图：

 

 把protoc-3.14.0-win64里的bin复制到protobuf-python-3.14.0\protobuf-3.14.0\src\文件夹下。

 在protobuf-python-3.14.0\protobuf-3.14.0\python文件夹里打开cmd，依次运行以下命令

python setup.py build
python setup.py test  // 这个我觉得可以省略吧
python setup.py install 

成功如下图：

 第4步的对策我不是太懂，属于绿色免安装版吧，这样部署总感觉很不完美，不要纠结，赶紧去开始项目吧。

 三，运行项目

1.启动工程里的mitmdump

【提示】
mitmproxy有三种启动命令：
(1) mitmweb
-- 提供一个web界面；
-- 代理端口：绑定了 *:8080作为代理端口；
-- 交互界面地址：localhost:8081；
(2) mitmproxy
-- 提供命令行界面；
-- 可以通过命令过滤请求；
(3) mitmdump
-- 命令行接口

mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。

mitmproxy还有两个关联组件。一个是mitmdump，它是mitmproxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是mitmweb，它是一个Web程序，通过它我们可以清楚观察mitmproxy捕获的请求。

作者：猎户座_alpha
链接：https://www.jianshu.com/p/8ee3f9f46d7a
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

2.设置手机wifi网络代理

获取mitmproxy环境机的内网IP地址，win+r——cmd——ipconfig(linux为ifconfig)

选中wifi，点击修改网络

 

选中“显示高级选项”，配置如下，服务器主机名为mitmproxy环境机的ip

 

3.手机安装mitmproxy证书（a.电脑和手机必须位于同一个局域网;b.mitmdump（mitmproxy）必须运行）

使用手机浏览器访问 mitm.it，下载安卓版本证书。

安装pem证书

 

无法安装对策：

 a.打开手机设置，搜索“安全”

 

b.找到“从SD卡安装”

 

 c.找到下载的文件

d.输入名字,点击确定

 

 到此，项目配置完成。项目运行如图：