多弗朗明哥

摘要： 一. MapTask并行度决定机制 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度 那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ 1.1 mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定 而客户端对m 阅读全文

摘要： 1.MapTask工作机制 整个map阶段流程大体如上图所示。简单概述：input File通过getSplits被逻辑切分为多个split文件，通通过RecordReader(默认使用lineRecordReader)按行读取内容给map(用户自己实现的map方法)，进行处理，数据被map处理结束 阅读全文