python分布式爬虫下载安装（一）

目录：

1. 开发IDE----pycharm
2. 数据库--------mysql、redis、elasticsearch
3. 开发环境--virtualenv

pycharm使用技巧:再设置里输入 interpreter 即可查看或者修改当前使用的python版本，输入keymap，可看查看当前快捷键

---

 安装虚拟环境

pip install virtualenv

创建虚拟环境：

virtualenv scrapy_env    

创建虚拟环境2 

mkvirtualenv  --python=路径\python.exe    虚拟环境名字

 

 

进入虚拟环境

C:\Users\admin>h:

H:\>cd H:\blog\blogproject_env\Scripts

H:\blog\blogproject_env\Scripts>activate.bat  #进入虚拟环境

(blogproject_env) H:\blog\blogproject_env\Scripts>

 

退出虚拟环境：

deactivate.bat

 

 

提高下载速度，可以使用国内的下载包：

https://pypi.douban.com/simple/

pip install -i https://pypi.douban.com/simple/ django

如：

pip install -i https://pypi.douban.com/simple/ scrapy


丰富的第三方库：http://www.lfd.uci.edu/~gohlke/pythonlibs/

 安装scrapy 需要以下组建：

https://pypi.python.org/pypi/Twisted/  先下载

1. pip install C:\Users\admin\Downloads\Twisted-17.9.0-cp35-cp35m-win32.whl    #需要先下载
2. pip install lxml
3. pip install -i https://pypi.douban.com/simple/ scrapy
4. pip install pypiwin32
5. pip install pillow

6. pip install -i https://pypi.douban.com/simple mysqlclient

 

---

 安装成功：