Job流程：决定map个数的因素
此文紧接Job流程：提交MR-Job过程。上一篇分析可以看出，MR-Job提交过程的核心代码在于 JobSubmitter 类的 submitJobInternal()方法。本文就由此方法的这一句代码开始分析：
//计算并确定 map 的个数，以及各个输入切片 Splits 的相关信息
int maps = writeSplits(job, submitJobDir);
1.查看writeSplits()方法的实现过程：
private int writeSplits(org.apache.hadoop.mapreduce.JobContext job,
Path jobSubmitDir) throws IOException,
InterruptedException, ClassNotFoundException {
JobConf jConf = (JobConf)job.getConfiguration();
int maps;
if (jConf.getUseNewMapper()) {
//决定map个数的关键性方法
maps = writeNewSplits(job, jobSubmitDir);
} else {
maps = writeOldSplits(jConf, jobSubmitDir);
}
//返回map个数
return maps;
}
2.查看writeNewSplits()方法的实现过程：
//此方法返回int类型，即map的个数
//此方法实现倒着分析为好
private <T extends InputSplit>
int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,
InterruptedException, ClassNotFoundException {
Configuration conf = job.getConfiguration();
InputFormat<?, ?> input =
ReflectionUtils.newInstance(job.getInputFormatClass(), conf);
//List集合是由getSplits()方法生成 -->【核心代码】
List<InputSplit> splits = input.getSplits(job);
//array数组是由List<InputSplit>集合转化而来 -->查看List集合的定义
T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);
// sort the splits into order based on size, so that the biggest
// go first
Arrays.sort(array, new SplitComparator());
JobSplitWriter.createSplitFiles(jobSubmitDir, conf,
jobSubmitDir.getFileSystem(conf), array);
//array数组的长度,即map的个数 -->查看array数组的定义
return array.length;
}
3.查看getSplits()方法的实现
此方法是InputFormat 类的一个抽象方法。在其子类 FileInputFormat 类中为文件格式输入类型提供了统一的 getSplits()方法实现。
public List<InputSplit> getSplits(JobContext job) throws IOException {
//第一个参数返回值为 1;
//第二个参数是读取配置文件中的 mapreduce.input.fileinputformat.split.minsize 属性(默认值为 0),如果没有配置则返回 1.
//所以 minSize=Math(1,0),即值是 1
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
//读取配置文件中的 mapreduce.input.fileinputformat.split.maxsize 属性(默认没有配置)
//如果没有配置则返回 long.MAX_VALUE
long maxSize = getMaxSplitSize(job); //定义 List 集合，用来存储输入分片 InputSplit
List<InputSplit> splits = new ArrayList<InputSplit>();
//变量 files 存储的是 "输入路径中所有的文件集合"
List<FileStatus> files = listStatus(job);
//循环处理每一个输入文件
for (FileStatus file: files) {
//获得文件路径
Path path = file.getPath();
//获得文件总长度
long length = file.getLen();
//判断文件是否为空
if (length != 0) { BlockLocation[] blkLocations; if (file instanceof LocatedFileStatus) {
//获得文件对应的 所有Block块的 位置
blkLocations = ((LocatedFileStatus) file).getBlockLocations(); } else { FileSystem fs = path.getFileSystem(job.getConfiguration()); blkLocations = fs.getFileBlockLocations(file, 0, length); }
//如果文件大小非空，并且文件允许被分割
if (isSplitable(job, path)) {
//获取配置文件中Block块的大小,默认128MB
long blockSize = file.getBlockSize();
//计算输入切片的大小【核心代码】
long splitSize = computeSplitSize(blockSize, minSize, maxSize); //将bytesRemaining(剩余未分片字节数)设置为整个文件的长度
long bytesRemaining = length;
//while()循环体，按照 splitSize 对每个输入文件进行【逻辑切分】，得到 Splits 集合
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) { int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
//参数列表：文件所在路径、切片起始的位置、切片大小、切片所在节点
splits.add(makeSplit(path, length-bytesRemaining, splitSize, blkLocations[blkIndex].getHosts())); bytesRemaining -= splitSize; } //如果block中剩下的一小段数据量小于splitSize，还是认为它是独立的分片 if (bytesRemaining != 0) { int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining); splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining, blkLocations[blkIndex].getHosts())); } } else { //文件不能切分则将整个文件作为一个输入分片 InputSplit splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts())); } } else { //输入文件为空,则对应的 Block块 所在节点也应该为空 splits.add(makeSplit(path, 0, length, new String[0])); } } // Save the number of input files for metrics/loadgen job.getConfiguration().setLong(NUM_INPUT_FILES, files.size()); LOG.debug("Total # of splits: " + splits.size()); return splits; }
4.查看computeSplitSize()方法的具体实现：
protected long computeSplitSize(long blockSize, long minSize,
long maxSize) {
//对于默认情况，三个参数分别为:1,long.MAX_VALUE,128MB
//所以,表达式整体返回 128MB
return Math.max(minSize, Math.min(maxSize, blockSize));
}
所以，影响 map 任务数量的因素在于以上三个参数的设置：
- 默认情况 splitSize=blockSize，即一个 map 任务读取一个 block 块。
- 增加 minSize 超过 128M，则增加 splitSize，即 map 任务个数变小。
- 减小 maxSize 小于 128M，则减小 splitSize，即 map 任务个数变多。
Map 个数 = 文件大小 / 128M Reduce 个数 = 分区 Partitioner 个数 = 最终输出文件个数
注意：特殊压缩的 map 切分【即不可切分文件】
例题：假设HDFS上有一个大小75MB的文件，当客户端设置Block大小为64MB。则运行MR任务读取该文件时InputSplit大小为多少？
1) 如果该文件是普通文件，则应该是两个InputSplit分片：64MB 和 11MB。
2) 如果该文件是 gzip等压缩包格式的文件，则只有一个InputSplit分片：75MB。
