代码改变世界

Hive 中的Mapper个数

2013-03-21 03:22  java20130722  阅读(574)  评论(0)    收藏  举报

Hive 中的Mapper个数的是由以下几个参数确定的： 


mapred.min.split.size  ，mapred.max.split.size ，dfs.block.size


splitSize =  Math.max(minSize, Math.min(maxSize, blockSize));


map个数还与inputfilles的个数有关，如果有2个输入文件，即使总大小小于blocksize,也会产生2个map