2018年11月30日

scrapy抓取拉勾网职位信息（八）——使用scrapyd对爬虫进行部署

摘要： 上篇我们实现了分布式爬取，本篇来说下爬虫的部署。 分析：我们上节实现的分布式爬虫，需要把爬虫打包，上传到每个远程主机，然后解压后执行爬虫程序。这样做运行爬虫也可以，只不过如果以后爬虫有修改，需要重新修改好代码后，重新打包上传然后执行（当然你愿意每台登上去后修改代码也行）。本篇我们使用scrapd来进 阅读全文

posted @ 2018-11-30 22:07 月见空青 阅读(352) 评论(0) 推荐(0)

导航