ubuntu下安装并配置scrapy

首先是安装相关的依赖库，

sudo apt install python3-virtualenv

这条命令用来安装python的虚拟环境管理器virtualenv

安装相关的依赖包：

sudo apt-get install python3-dev libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

安装pip

sudo apt install python3-pip

在安装pip是顺便把推荐包一起安装，推荐包在建议安装下面，之前虚拟一直无法安装，后来安装推荐包后成功了，推荐包因人而异

我的是这些：

sudo apt install debian-keyring g++-multilib g++-9-multilib gcc-9-doc gcc-multilib autoconf

创建虚拟python3环境：

virtualenv --always-copy --python=python3 venv

激活虚拟环境：

. venv/bin/activate

在虚拟环境中安装scrapy：

conda install scrapy

或者： pip3 install scrapy

创建名为baidu的scrapy项目：

scrapy  startproject baidu

成功后会显示启动baidu项目的方式：

You can start your first spider with:
cd baidu
scrapy genspider example example.com

任选一个方式即可进入项目：