摘要: 话说用hadoop MapReduce编程有一阵子了,但是关于Mapper, Combiner, Reducer的输入输出类型居然花了我一整天。我本以为Combiner的输入与Mapper的输出一致,Combiner的输出与Reducer的输入一致就可以了,就像图1:图1 假想我的程序Mapper输... 阅读全文
posted @ 2014-05-12 11:09 Relieved.U 阅读(366) 评论(0) 推荐(0)
摘要: import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import... 阅读全文
posted @ 2014-05-11 20:28 Relieved.U 阅读(241) 评论(0) 推荐(0)
摘要: Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数... 阅读全文
posted @ 2014-05-11 15:01 Relieved.U 阅读(261) 评论(0) 推荐(0)
点击右上角即可分享
微信分享提示