摘要: 1. pip安装 这里推荐使用pip安装,相关命令如下: 2.验证安装 安装成功后会有一个可用命令,叫作scrapyd-deploy,即部署命令。 我们可以输入如下测试命令测试Scrapyd-Client是否安装成功: 如果出现类似如图1-86所示的输出,则证明Scrapyd-Client已经成功安 阅读全文
posted @ 2019-04-26 22:53 阿布_alone 阅读(683) 评论(0) 推荐(0)
摘要: 安装好了Scrapyd之后,我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如,某台主机的IP为192.168.1.1,则可以直接运行如下命令获取当前主机的所有Scrapy项目: 运行结果如下: 1 {"status": "ok", "projects": ["myproj 阅读全文
posted @ 2019-04-26 22:33 阿布_alone 阅读(719) 评论(0) 推荐(0)
摘要: .安装 二.配置 安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,Scrapyd在运行的时候会读取此配置文件。 在Scrapyd 1.2版本之后,不会自动创建该文件,需要我们自行添加。 首先,执行如下命令新建文件: 接着写入如下内容: 中之一是max_proc_ 阅读全文
posted @ 2019-04-26 22:26 阿布_alone 阅读(429) 评论(0) 推荐(0)
TOP