爬虫框架 Scrapy 的安装

Win 环境

1 检查本地的python版本：

python -V

Python 3.9.8(我本地是)

2 whl方式安装 twisted

• 1 因为scrapy需要twisted的环境，所以我们直接去下载whl文件
  根据自己的Python版本在

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

选择下载

• 2 下载好后，Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl,将这个文件存放到python安装路径下的script文件夹中。
  如下：

• 3 执行安装

pip install Twisted‑20.3.0‑cp39‑cp39‑win_amd64.whl

3 安装scrapy

pip install scrapy

4 安装pywin32

pip install pywin32

5 检查是否安装成功

scrapy startproject baidu baidu.com

显示类似如下，说明scrapy 已经成功安装

New Scrapy project 'baidu', using template directory 'D:\python398\lib\site-              
packages\scrapy\templates\project', created in:
  F:\test\baidu.com

You can start your first spider with:
  cd baidu.com
  scrapy genspider example example.com

Linux 环境

直接 执行 命令：

pip install scrapy