潜伏的蛟龙

摘要： 当我们需要把数据存储在分布式文件系统HDFS，由MapReduce计算移动到存储有部分数据的各台机器上，下面我们看看具体过程。 首先上一点干货： MapReduce作业（job）是客户端需要执行的一个工作单元：它包括输入数据，MapReduce程序和配置信息。Hadoop将作业分布称若干小任务（task）来执行，其中包括两类任务：map任务（计算）和reduce（聚合）任务； 有两类节点控制着作业... 阅读全文

摘要： Hadoop 的版本0.20包含一个新的java MapReduce API，我们也称他为上下文对象（context object）。新的API在类型虽然不兼容先前的API，但是更容易扩展。 新增的API和旧的API之间的不同点： 1、 新的API倾向于使用抽象类，而不是接口，是为了更容易扩展。 例如：可以不需要修改类的实现而在抽象类中添加一个方法。在新的API中，mapper和reducer现在... 阅读全文