分布式爬虫的设计策略
摘要:以下是三种分布式爬虫的设计分析,分布式系统有待进一步了解与学习。 策略一: Slaver端从Master端拿任务(Request/url/ID)进行数据抓取,在抓取数据的同时也生成新任务,并将任务抛给Master。Master端只有一个Redis数据库,负责对Slaver提交的任务进行去重、加入待爬
阅读全文
posted @ 2018-01-28 20:59
posted @ 2018-01-28 20:59
posted @ 2018-01-21 19:40
posted @ 2018-01-08 00:04
posted @ 2018-01-02 00:55