使用Scrapyd和实时分析的分布式

Scrapyd是一个应用程序，允许我们在服务器上部署爬虫，并使用它们来安排爬虫作业

项目部署到服务器

cat scrapy.cfg

...

[deploy:scrapyd1]

url = http://scrapyd1:6800/ [deploy:scrapyd2]

url = http://scrapyd2:6800/ [deploy:scrapyd3]

url = http://scrapyd3:6800/