2015年3月24日
众推平台架构——分布式爬虫
摘要： 分布式爬虫架构经过新一轮的投票，项目的范围已经基本确定。大家决定 全力以付，集中攻克“分布式爬虫”。分布式爬虫架构1使用队列，即生产者，消费都模式。由于生产者将规则生成到队列，然后由爬虫集群（消费者）到队列中取规则，然后按优先级等规则进行爬取。分布式爬虫架构2类似于webmagic，webmagic... 阅读全文
posted @ 2015-03-24 11:34 skyme 阅读(8854) 评论(1) 推荐(1) 编辑