scarpyd 安装Gerapy可视化管理框架

gerapy 爬虫web调度可视化工具（基于scrapyd）

 

web

• 基于scrapyd
• 提供主机管理功能
  1. 基于scrapyd管理已安装服务的主机。
  2. 进入具体主机管理页面，会自动加载所有已知爬虫任务；
  3. 可直接可以调度、运行、查看日志。
• 提供项目管理功能
  1. 将已知项目放到project目录下，可进行爬虫项目单台机器、多台机器部署。
  2. 提供项目代码在线编辑功能
• 提供任务管理功能
  1. 基于项目-爬虫的管理，可以构建爬虫调度任务。
  2. 目前支持三种类型调度，date、interval、cron（基本能满足日常需求）

安装

注：从 Gerapy 2.x 开始，其定位发生改变，不再支持 Scrapyd，转而支持 Docker、Kubernetes 的部署，另外开发还会迁移到 Scrapy 可视化配置和智能解析方面，敬请期待

pip3 install -U gerapy

初始化

gerapy init / gerapy init GerapySpace

初始化数据库

cd gerapy
gerapy migrate

从创建用户

gerapy initadmin
	会初始化一个超级管理员账号， username： admin  password： admin

gerapy createsuperuser  回车根据提示输入用户名和密码 Email:--可以不用写直接回车
	如果不想用admin,也可以根据提示，创建一个超级用户

启动

gerapy runserver

如果想要在公网访问服务
gerapy runserver 0.0.0.0:8000

如果想后台启动服务可以使用
gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

浏览器访问  http://127.0.0.1:8000  

Docker

Pull gerapy

docker pull germey/gerapy

run docker

docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy

docker run -d -v <workspace>:/app/gerapy -p <public_port>:<container_port> germey/gerapy