MapReduce程序开发

1、Demo：WordCount单词计数
/root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

执行:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/mr/wc1213

分析WordCount程序数据处理的过程（非常重要）

2、开发自己的WordCount程序
需要包含的jar：
/root/training/hadoop-2.7.3/share/hadoop/common
/root/training/hadoop-2.7.3/share/hadoop/common/lib

/root/training/hadoop-2.7.3/share/hadoop/mapreduce
/root/training/hadoop-2.7.3/share/hadoop/mapreduce/lib

再举一个例子：开发一个MapReduce：求每个部门的工资总额
数据：员工表
SQL> select deptno,sum(sal) from emp group by deptno order by deptno;

DEPTNO SUM(SAL)
---------- ----------
10 8750
20 10875
30 9400

3、MapReduce的一些高级特性
（1）序列化：类似Java的序列化
如果一个类实现了的Hadoop的序列化机制（接口：Writable），这个类的对象就可以作为输入和输出的值
举例1：使用Employee类来封装员工信息，并且作为Map和Reduce的输入和输出

一定注意：序列化的顺序和反序列化的顺序要一致

举例2：使用序列化Employee重写 求每个部门的工资总额

（2）排序：注意：按照key2进行排序

默认排序：数字 升序
字符串 字典顺序
对象的排序：按照员工的薪水排序

如果要改变默认的排序规则，需要创建一个自己的比较器

（3）分区：Partition，默认情况下，MapReduce只有一个分区，意思是：只有一个输出文件
（4）合并：Combiner，在Mapper端，先做一次Reducer，用于减少输出到Reducer中的数据，从而提高效率
（5）MapReduce的核心：Shuffle（洗牌）