爬虫框架Scrapy安装之Windows

1、安装python3.6.5

2、安装Scrapy

pip install scrapy

如果出现下面问题，升级pip（因为安装了pythony2.x或者python3.x，pip也已经安装了，只用更新即可）

you are using pip version 9.0.3 however version 10.0.1 is available

升级命令：

Linux or macOS:
pip install -U pip
Windows:
python -m pip install -U pip

查看pip版本命令：

pip --version

3、校验Scrapy安装成功

命令行中输入 scrapy -version，查看输出结果即可。

4、创建项目

scrapy startpeoject tutorial

这个命令会在当前目录下创建一个新目录 tutorial, 它的结构如下:

tutorial/                 # 项目根目录
    scrapy.cfg            # deploy configuration file
    tutorial/             # project's Python module, you'll import your code from here
        __init__.py
        items.py          # project items definition file
        middlewares.py    # project middlewares file
        pipelines.py      # project pipelines file
        settings.py       # project settings file
        spiders/          # a directory where you'll later put your spiders
            __init__.py

如果异常：Scrapy ImportError: DLL load failed: 操作系统无法运行 %1

解决办法：把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可。

（libeay32.dll是OpenSSL所用动态链接库，一般与ssleay32.dll同时用到，通常情况下是在程序包里自带的。这里删除之后不知道有啥影响没）

5、其他安装之conda

官网建议Windows先安装Anaconda or Miniconda，然后：

conda install -c conda-forge scrapy

通过这种方式安装，需要安装的第三方库很多，最好在FQ的情况下安装，要不很多包下不下来。

6、其他安装之手动安装第三方库

1.安装lxml
最好的安装方式是通过wheel文件来安装，http://www.lfd.uci.edu/~gohlke/pythonlibs/，这个网站真的是windows用户的福音，基本上python的库里面都有，称他为python万能库网站。从该网站找到lxml的相关文件（ctrl+F），假如是python3.5版本，windows 64位系统，那就找到 lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 这个文件下载，通过pip安装。

下载之后，在当前目录下运行如下命令安装：

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

 即可完成lxml的安装，其他文件替换文件名即可。

2.安装pyOpenSSL

　　官方网站下载wheel文件，https://pypi.python.org/pypi/pyOpenSSL#downloads，下载 .whl文件，安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

3.安装Twisted

　　同理，从python万能网站上下载 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安装即可。假如是python3.5版本，windows 64位系统，那就找到 Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
这个文件下载，通过pip安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 

4.安装pywin32

　　从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包安装即可。

5.安装Scrapy

　　最后安装Scrapy即可，依然使用pip，命令如下：

pip3 install Scrapy