34、分布式环境

使用CentOSmini 系统

1. 安装 python3

1.1 安装装python3的环境

yum install gcc* zlib*

1.2 下载 Python3

**在官方网站下载最新版本python3.8*8

wget https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz

注：可在python官网https://www.python.org/downloads/查找最新版本python复制链接，以下文件夹名称均需要替换为对应版本名称。

1.3 安装

tar -xf Python-.tgz # 解压
cd Python-3.9.4
./configure prefix=/usr/local/python3 --enable-optimizations #编译
make && make install # 安装
export PATH=$PATH:/usr/local/python3/bin/ # 配置环境变量

2. 安装scrapy

2.1安装装scrapy的环境

yum install -y wget
wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2

tar -jxvf Twisted-17.1.0.tar.bz2  
cd Twisted-17.1.0  
python3 setup.py install

2.2 安装scrapy

pip3 install scrapy

2.3 安装 scrapy-redis

pip3 install scrapy-redis