Hadoop框架下MapReduce中的map个数如何控制

控制map个数的核心源码

 1 long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
 2  
 3 //getFormatMinSplitSize 默认返回1，getMinSplitSize 为用户设置的最小分片数, 如果用户设置的大于1，则为用户设置的最小分片数
 4 long maxSize = getMaxSplitSize(job);
 5  
 6 //getMaxSplitSize为用户设置的最大分片数，默认最大为long 9223372036854775807L
 7  
 8 long splitSize = computeSplitSize(blockSize, minSize,
 9                             maxSize);
10  
11 protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
12         return Math.max(minSize, Math.min(maxSize, blockSize));
13     }

由上述代码可以看出在

maxSize默认等于long（长整形）

blockSize默认在hadoop2.0之后为128M

minSize默认等于1

因此默认的切片大小splitSize等于128M也就是说等于块大小

一个切片对应于一个map任务，因此在默认情况下一个块对应于一个map任务。

要想人为控制map的个数可以从minSize和MaxSize入手。

想要增加map的个数，可以将maxSize调整小于blockSize；想要减小map的个数，可以调整minSize>blockSize。

具体调整可以在job配置中增加如下配置

   FileInputFormat.setMinInputSplitSize(job, 301349250);//设置minSize
   FileInputFormat.setMaxInputSplitSize(job, 10000);//设置maxSize

在实验中，

测试 文件大小 297M(311349250)

块大小128M

测试代码

   FileInputFormat.setMinInputSplitSize(job, 301349250);   

  FileInputFormat.setMaxInputSplitSize(job, 10000);

测试后Map个数为1，由上面分片公式算出分片大小为301349250, 比 311349250小， 理论应该为两个map,  这是为什么呢？在上源码

while (bytesRemaining / splitSize > 1.1D) {
                        int blkIndex = getBlockIndex(blkLocations, length
                                - bytesRemaining);
                        splits.add(makeSplit(path, length - bytesRemaining,
                                splitSize, blkLocations[blkIndex].getHosts()));

                        bytesRemaining -= splitSize;
                    }

可以看出只要剩余的文件大小不超过分片大小的1.1倍， 则会分到一个分片中，避免开两个MAP， 其中一个运行数据太小，浪费资源。

总结，分片过程大概为，先遍历目标文件，过滤部分不符合要求的文件， 然后添加到列表，然后按照文件名来切分分片 （大小为前面计算分片大小的公式, 最后有个文件尾可能合并，其实常写网络程序的都知道）， 然后添加到分片列表，然后每个分片读取自身对应的部分给MAP处理

 

posted @ 2015-01-22 10:51  林六天  阅读(2302)  评论(0)  编辑  收藏  举报