mapreduce

1.Mapreduce的分区和reducetask的数量

	1.分区：将相同的数据按照一定规则发送到同一个reduce中进行数据的处理。

			原则：物理类聚 人以群分



	2.reducetask的数量：

		1个reducetask最终对应1个生成的文件

		默认情况下，只有一个reducetask

	3.hashpartitioner

		(key.hashCode&Integer.maxValue)  %numReduceTask

			(13777xxxxx  	&Integer.maxValue) 	%	2

		(key.hashCode() & 2147483647) % numReduceTasks;

2.mapreduce 的排序和序列化

mapreduce使用自己的序列方式：

	使用Writable接口完成序列化操作，mr的序列化是轻量级的数据化

	实现Writable接口，就可以完成一个对象的序列化

	如果既想序列化，又想进行排序，需要实现接口 WritableCompareable

	默认情况下，虽然我们没有进行排序，但是系统会有一个默认的排序，按照key2进行字典排序

3.combiner

	数据的规约

	在map阶段处理完数据后，为了map和reduce阶段更少的传递数据，增加一个combiner阶段，减少数据。

	combiner就是map端的reduce

blockSize 128M

long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));    1
long maxSize = getMaxSplitSize(job);    Long.MAX_VALUE

computeSplitSize(blockSize, minSize, maxSize);

Math.max(minSize, Math.min(maxSize, blockSize));