2023年12月14日
Hadoop MapReduce框架原理
摘要： 1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 阅读全文
posted @ 2023-12-14 11:45 SpringCore 阅读(70) 评论(0) 推荐(0)