Scrapy部署到Scrapyweb流程

1. scrapyd安装并开启
   • scrapyd安装

     pip install scrapyd

   • 部署项目，推荐使用scrapyd-clinet提供的scrapyd-deploy工具，自动化操做：详情请看文档：https://github.com/scrapy/scrapyd-client

     pip install scrapy-client

• • cd到项目根目录，运行下面代码，就可以部署scrapyd项目（方法一）

    scrapyd-deploy <target> -p <project> #方法一
    

  • 可以使用默认配置配置scrapyd项目（方法二）
    • 打开项目内的scrapy.cfg文件，配置内容例如

      [deploy]
      url = http://scrapyd.example.com/api/scrapyd
      username = scrapy
      password = secret
      project = projectname

    • 在项目目录下使用

      scrapyd-deploy

• • 成功提示如下

    Deploying myproject-1287453519 to http://localhost:6800/addversion.json
    Server response (200):
    {"status": "ok", "spiders": ["spider1", "spider2"]}

 

• • 终端输入scrapyd，打开127.0.0.1:6800

• • 上传爬虫

    curl http://localhost:6800/schedule.json -d project="你的项目名" -d spider="上次的爬虫名字"

2. scrapyweb安装并启动，文档链接：https://github.com/my8100/scrapydweb

• 安装并在根目录运行

  pip install scrapydweb
  scrapydweb

• 成功后终端会显示链接网页，打开就可以了