python爬虫scrapy（一）

一，准备scrapy依赖组件环境，按照以下顺序安装

1.wheel
pip install wheel
2.lxml
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
下载后执行（以下类似）：pip install lxml-4.3.4-cp36-cp36m-win_amd64.whl
3.PyOpenssl
https://pypi.python.org/pypi/pyOpenSSL#downloads
4.Twisted
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
5.Pywin32
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
6.Scrapy 
pip install scrapy

 

二，安装scrapy遇到以下问题

问题1： Microsoft Visual C++ 14.0 is required

解决办法：

1，执行 pip install --upgrade setuptools

2，下载Visual C++ Build Tools https://www.visualstudio.com/downloads/#build-tools-for-visual-studio-2017

注：可参考python官网 https://wiki.python.org/moin/WindowsCompilers#Which_Microsoft_Visual_C.2B-.2B-_compiler_to_use_with_a_specific_Python_version_.3F

安装Visual注意事项：

勾选：使用c++的桌面开发选项即可，其它非必须选项，依照个人需要勾选