centos 7.5安装python3.7并配置好scrapyd和scrapydweb

一.安装python3.7

1.安装依赖包

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel

2.下载python3.7源码包、解压并进入目录

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz

tar -xzvf Python-3.7.0.tgz

cd Python-3.7.0

3.编译并安装

./configure prefix=/usr/local/python3

make && make install

4.添加bin目录至系统PATH变量中

#打开系统profile文件
vi /etc/profile
#在最后添加,并保存
export PATH=$PATH:/usr/local/python3/bin
#马上生效
source /etc/profile

5.将默认的python命令改为python3

#输出python命令位置,我的在/usr/bin/python,其实它是/usr/bin/python2的软链接
which python

#备份一下
mv /usr/bin/python /usr/bin/python_bak

#添加python->python3和pip->pip3的软链接
ln -s /usr/local/python3/bin/python3.7 /usr/bin/python

ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip

#这时可以测试下
python -V

 

6.更改yum配置,因为yum使用的是python2

vi /usr/bin/yum 
把 #! /usr/bin/python 修改为 #! /usr/bin/python2 
vi /usr/libexec/urlgrabber-ext-down 
把 #! /usr/bin/python 修改为 #! /usr/bin/python2

 二.安装和配置scrapyd

1.安装运行scrapyd

#安装
pip install scrapyd

#运行

scrapyd

 启动后,scrapyd默认监听的127.0.0.1的6800端口,这时访问:http://127.0.0.1:6800,如果想让其它主机访问,或想改端口,需要进入下一步操作。

2.配置

scrapyd启动会在以下位置查找配置文件:

  • /etc/scrapyd/scrapyd.conf (Unix)
  • c:\scrapyd\scrapyd.conf (Windows)
  • /etc/scrapyd/conf.d/* (in alphabetical order, Unix)
  • scrapyd.conf(运行目录)
  • ~/.scrapyd.conf (users home directory)

我们根据需要创建scrapyd.conf,这里我是在运行目录 ,我们可以通过 find / -name scrapyd来查找scrapyd的安装目录 ,在安装目录 里有一个default_scrapyd.conf是默认的配置文件,我们可以以此为模板来修改成我们需要的。

其中

bind_address为绑定ip,修改成0.0.0.0,其它主机就可以访问了

http_port为监听的端口

 三.安装和配置scrapydweb

1.安装和运行

#安装scrapydweb
pip install scrapydweb
#logparser是一个日志解析工具,可以把日志解析后发送给scrapyweb
pip install logparser


#新建一个目录 并在此目录下运行
mkdir scrapydwebtest
cd scrapydwebtest
scrapydweb

2.配置

运行后有可能会不成功,不管成功与否都会在目录 下生成 scrapydweb_settings_v10.py 文件,此文件为scrapydweb的配置文件,如果不成功会要求修改其内的SCRAPYD_SERVERS.此项为配置scrapyd的服务地址。根据自已的情况配置,我的配置如下:

 

SCRAPYD_SERVERS = [
    '127.0.0.1:6800',
    # 'username:password@localhost:6801#group',
    # ('username', 'password', 'localhost', '6801', 'group'),
]

 

配置文件内的注释还是比较详尽的,大部分一看就会明白,同时可以参考这篇文章:https://zhuanlan.zhihu.com/p/99449687

 

 

 

 

  

posted @ 2020-04-23 21:26  小砖  阅读(435)  评论(0编辑  收藏  举报