摘要: 一、部署组件概览 该部署方式适用于 scrapy项目、scrapy-redis的分布式爬虫项目 需要安装的组件有: 1、scrapyd 服务端 【运行打包后的爬虫代码】(所有的爬虫机器都要安装) 2、logparser 服务端 【解析爬虫日志,配合scraoydweb做实时分析和可视化呈现】(所有的 阅读全文
posted @ 2019-12-10 20:31 TurboWay 阅读(1530) 评论(0) 推荐(1) 编辑