windows安装scrapy

1.安装Twisted

直接pip install Twisted

然后报错

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

    ----------------------------------------
Command "c:\users\zb\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools, 
tokenize;__file__='C:\\Users\\zb\\AppData\\Local\\Temp\\pip-build-10ew2ma_\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))"
install --record C:\Users\zb\AppData\Local\Temp\pip-85cixft1-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\zb\AppData\Local\Temp\pip-build-10ew2ma_\Twisted\ You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command.

 

最后一句提醒让升级pip,然后运行 python -m pip install --upgrade pip 运行 

这时候我们成功升级了pip了。然后重新 安装pip install twisted运行之后看到出现 如下错误

    building 'twisted.test.raiser' extension
    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

字面意思看需要安装Microsoft Visual C++ 14.0 ,但是这个东西安装起来很麻烦,而且安装上了也不一定准确,这个时候呢,我们一般就考虑第三方的python模块安装包
http://www.lfd.uci.edu/~gohlke/pythonlibs/

然后搜索twisted,下载对应的版本,下图cp36就是python3.6x版本用的,win32是指的python的位数,cmd输入python查看python的版本,这里我就下载下面蓝色x

https://pan.baidu.com/s/1MOVgSWO0aJrBMKUw4ibdrQ

然后用命令行到whl的目录

pip install  Twisted-18.4.0-cp36-cp36m-win32.whl

2.安装scrapy

 

pip install scrapy

 没有特殊情况就会安装成功了。

3.创建工程

打开命令行,然后切换到需要的目录,d:

输入下面的命令创建工程

scrapy startproject weibo

其中weibo是你需要创建的工程的名字,前两个参数不动。

然后到达工程的目录,cd weibo

scrapy genspider weibocn m.weibo.cn

然后这时候进入工程的spider文件发现多了一个文件weibocn.py

weibocn 是爬虫的名字,具有唯一性,每个工程拥有一个唯一的爬虫名,m.weibo.cn是指定域范围,获取的内容只在指定的域。

 

posted @ 2018-05-05 23:14  公众号python学习开发  阅读(6393)  评论(0编辑  收藏  举报