mr出现数据倾斜解决办法

1、在map端提前进行conmbiner合并，减少数据传输量

　　在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。

　　如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。

2、增加reduce并行度

3、导致数据倾斜的key 大量分布在不同的mapper

 

局部聚合加全局聚合。

 

第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer中进行局部聚合，数量就会大大降低。

 

第二次mapreduce，去掉key的随机前缀，进行全局聚合。

 

思想：二次mr，第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。

 

这个方法进行两次mapreduce，性能稍差。