[置顶] MapReduce的输入输出过程数据类型对应过程
摘要： 话说用hadoop MapReduce编程有一阵子了，但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。我本以为Combiner的输入与Mapper的输出一致，Combiner的输出与Reducer的输入一致就可以了，就像图1：图1 假想我的程序Mapper输... 阅读全文
posted @ 2014-05-12 11:09 Relieved.U 阅读(373) 评论(0) 推荐(0)
[置顶] MapReduce_去重抽取mdn_imsi
摘要： import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import... 阅读全文
posted @ 2014-05-11 20:28 Relieved.U 阅读(246) 评论(0) 推荐(0)
2014年5月11日
MapReduce入门实例
摘要： Hadoop集群（第9期）_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数... 阅读全文
posted @ 2014-05-11 15:01 Relieved.U 阅读(265) 评论(0) 推荐(0)