03_MapReduce框架原理_3.14. MapReduce 开发总结

1. 输入数据接口 ：InputFormat

　　1. 默认使用的实现类 ：TextInputFormat

　　一次读取一行文本,该行的起始偏移量为key,行内容为value

　　2. CombineTextInputFormat 可以将多个小文件合并成一个切片处理,提高处理效率

      3. 博客连接  https://www.cnblogs.com/bajiaotai/p/15709100.html

 

2. 逻辑处理接口 : Mapper

　　1. 根据用户业务需求 实现三个方法 : map()、setup()、cleanup()

 

3. 分区 : Partitioner

　　1. HashPartitioner 默认实现

　　　　根据key的哈希值和numReduces来返回一个分区编号

　　　　key.hashCode()&Integer.MAXVALUE % numReduces

　　2. 可继承 Paritioner来自定义 分区器

　　3. 博客连接 https://www.cnblogs.com/bajiaotai/p/15720511.html

 

4. 排序 : Comparable

　　1. 当自定义对象为key时,必须实现WritableComparable接口,并重写compareTo()方法

      2. 博客连接  https://www.cnblogs.com/bajiaotai/p/15734910.html

 

5. 逻辑处理接口 : Reducer

　　1. 根据用户业务需求 实现三个方法 : reduce()、setup()、cleanup()

 

6. 输出数据接口 : OutputFormat

　　1. TextOutputFormat 默认实现

　　　　将每个key、value 向目标文件输出一行   

　　2. 可以根据自定义OutputFormat

      3. 博客连接  https://www.cnblogs.com/bajiaotai/p/15741122.html