2018年12月21日
基本分布式爬虫架构：实现分布式豆瓣爬虫
摘要： 一、控制节点- URL 管理器 1.1 简单分布式爬虫架构 本次分布式爬虫采用主从模式，主从模式是指一台主机作为控制节点，负责管理所有运行网络爬虫的主机，爬虫只需要从控制节点那里接收任务，并把新生成任务提交给控制节点就可以了，在这个过程中不必与其他爬虫通信，这种方式实现简单、利于管理。而控制节点则需 阅读全文
posted @ 2018-12-21 09:29 梦醒时分c 阅读(2117) 评论(0) 推荐(0)