Mapreduce的工作原理

副本数量:多少个datanode储存该数据

数据块数量:一个数据被划分为多少个block

数据切片是逻辑上的切片:一个切片对应一个DataNodeTask,默认切片大小等于BlockSize

FileInputFormat:默认继承TextInputFormat,对于每个文件单独切片

CombinTextInputFormat:把文件整合再对整体进行切片

Combiner继承reduce:先执行一部分reduce然后再把这些部分汇总让最后的reduce进行

MapTask

Yarn工作原理