Mapreduce（8）---数据倾斜原因与解决方案（转）

MapReduce 数据倾斜原因和解决方案（转）

1、记录第一个遇到的数据倾斜情况

类似词频统计，80%的单词相同，导致由一个reducer来处理。通过调大了reducerNum数量来解决。

2、记录第二个遇到的数据倾斜情况

当map中的key为IntWritable时比其为Text形式更易发生数据倾斜情况。