pannyvan

导航

2017年2月7日 #

不适合使用hadoop来解决的问题

摘要: 1.Hadoop能解决的问题必须是可以mapreduce的。一是问题可以拆分,二是子问题必须独立。比如斐波那契数列就不适合。 2.数据结构不满足key-value形式的。比如结构化的数据查询。 3.不适合处理大批量的小文件。namenode的局限性决定的,文件过小,namenode存储的元信息就会占 阅读全文

posted @ 2017-02-07 20:28 pannyvan 阅读(134) 评论(0) 推荐(0) 编辑

一个持续集成系统的实现

摘要: 1.简介 一个持续集成系统由3部分组成:观察器,任务调度器,测试运行。观察者观察代码库的变化,并通知任务调度器,然后任务调度器找到测试运行器,并给其一个提交号进行测试。 为了建立一个可以容错和负载均衡的CI系统,每个组件都独自处理,相互独立 阅读全文

posted @ 2017-02-07 20:24 pannyvan 阅读(99) 评论(0) 推荐(0) 编辑