爬虫应用界面管理Gerapy

Gerapy

Gerapy是Scrapy界面调度框架，通过gerapy和scrapyd配合可以完成爬虫项目的在线管理，安装gerapy

pip install gerapy

进入gerepy工作目录，初始化项目
cd e:/work_spider/    # 进入工作目录
gerapy init            # 初始化工作目录
cd gerapy
gerapy migrate          # 完成项目数据迁移
gerapy createsuperuser   # 创建超级管理员用户
gerapy runserver       # 在http://localhost:8000启动服务

安装配置scrapyd

pip install scrapyd

初始化scrapyd,进入scrapyd工作目录scrapyd对应的scrapyd服务就在当前服务器启动[http://ip:6800]