2017年12月20日
大数据学习（5）MapReduce切片（Split）和分区（Partitioner）
摘要： MapReduce中，分片、分区、排序和分组（Group）的关系图： 分片大小 对于HDFS中存储的一个文件，要进行Map处理前，需要将它切分成多个块，才能分配给不同的MapTask去执行。 分片的数量等于启动的MapTask的数量。默认情况下，分片的大小就是HDFS的blockSize。 Map阶 阅读全文
posted @ 2017-12-20 00:43 at0x7c00 阅读(11890) 评论(2) 推荐(3)
CSDN - ITeye - GitHub  |  HuQiao's Blog  |  业余经营：IT快报