<原创>关于爬虫的远程部署之Scrapyd

Scrapyd 的远程部署和监控

 

1. 安装Scrapyd
sudo pip install scrapyd # 安装scrapyd服务
sudo pip install scrapyd-client # 安装scrapyd客户端

2. 启动scrapyd服务
scrapyd # 启动服务，端口号 6800

远程连接： 打开浏览器，192.168.xx.xx:6800

3. 部署scrapy项目到scrapyd上的配置

创建爬虫项目之后，下面都有个配置文件scrapy.cfg 打开此配置文件进行如下配置

# 1. scrapyd的配置名
[deploy:scrapy_Tencent]  #scrapy_ +项目名

# 2. 启动scrapyd服务的远程主机ip，localhost默认本机的
url = http://localhost:6800/
#url = http:192.168.xx.xxx:6800  # 服务器的IP

#- 3.项目名称
project = Tencent

 

4. 将scrapy项目部署到scrapyd上

# -p 执行项目名，将Tencent按指定的配置信息部署到scrapyd
scrapyd-deploy scrapy_Tencent -p Tencent

5. 启动项目下指定的爬虫
curl http://localhost:6800/schedule.json -d project=Tencent -d spider=tencent

{"status": "ok", "jobid": "2f240b1171bc11e7ae5aa45e60e36247", "node_name": "PowerMac.local"}

6. 停止项目下指定的爬虫 （记住启动之后的jobid，停止爬虫的时候需要这个值来停止）

curl http://localhost:6800/cancel.json -d project=Tencent -d job=2f240b1171bc11e7ae5aa45e60e36247

7. 停止scrapyd的服务
Control + C

 

子彦