Map/Reduce之间的Partitioner接口

一、Partitioner介绍

Partitioner的作用是对Mapper产生的中间结果进行分片，以便将同一分组的数据交给同一个Reduce处理，它直接影响Reduce阶段的负载均衡（个人理解：就是按照Reduce的个数，将Mapper产生的中间结果按照关键字送给不同的Reduce，Reduce对相同关键字的数据进行处理）。

Partitioner在Map/Reduce中所处的位置，如下：

二、Partitioner的源代码解析

将相同关键字Key送到哪个Reduce上处理。

public abstract class Partitioner<KEY, VALUE> {
  
  /** 
   * Get the partition number for a given key (hence record) given the total 
   * number of partitions i.e. number of reduce-tasks for the job.
   * 通过给定总的分区数(即一般为Reduce的个数)，获得每个关键字Key所对应的分区（所对应的Reduce上）。
   * <p>Typically a hash function on a all or a subset of the key.</p>
   *
   * @param key the key to be partioned. 关键字
   * @param value the entry value.
   * @param numPartitions the total number of partitions. 一般是Reduce的个数
   * @return the partition number for the <code>key</code>. 哪个Reduce
   */
  public abstract int getPartition(KEY key, VALUE value, int numPartitions);
  
}

 三、常用的Partitioner方法

1、HashPartitioner

HashPartitioner是MapReduce中Partitioner的默认实现。他是基于哈希值的分片方法。实现如下：

public class HashPartitioner<K, V> extends Partitioner<K, V> {

    /** Use {@link Object#hashCode()} to partition. 
     * key.hashCode()得到关键字Key的哈希值，numReduceTasks为Reduce的个数
     * 这样可以将相同关键字Key的所有数据送给哪个Reduce
     **/
    public int getPartition(K key, V value, int numReduceTasks) {
        return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
    }

}

2、TotalOrderPartitioner

 TotalOrderPartitioner是基于区间的分片方法，通常用在全排序中。