首次接触爬虫,安装scrapy 框架

安装

1.使用pip 安装命令:Pip install scrapy

安装时报错了,报错信息:error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools

本想根据错误提示安装:Microsoft Visual C++,无奈发现提示的链接没法用。

别人肯定也遇到过这个问题,于是一搜,办法来了:直接下载twisted

2.安装 twisted,找到相对应的文件下载

 下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

安装时,直接去到该文件目录下打开命令窗口(我是直接放到 ...Python36\Lib\site-packages下),PIP install   Twisted-18.7.0-cp36-cp36m-win_amd64.whl 

3.安装成功 twisted后,此时再次安装 scrapy .安装命令:Pip install scrapy

终于安装成功了,可以开始爬虫之旅了