MapReduce程序

1、Demo:WordCount单词计数
/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

	 执行:
	 hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/mr/wc1213

     分析WordCount程序数据处理的过程(非常重要)

2、开发自己的WordCount程序
开发一个MapReduce:求每个部门的工资总额

3、MapReduce的一些高级特性
(1)序列化:类似Java的序列化
(2)排序:默认排序:数字 升序
字符串 字典顺序
对象的排序:按照员工的薪水排序

(3)分区:Partition,默认情况下,MapReduce只有一个分区,意思是:只有一个输出文件
(4)合并:Combiner,在Mapper端,先做一次Reducer,用于减少输出到Reducer中的数据,从而提高效率
(5)MapReduce的核心:Shuffle(洗牌)
posted @ 2018-02-09 15:37  好奇的小码农  阅读(91)  评论(0)    收藏  举报