2021年12月19日
03_MapReduce框架原理_3.5 InputFormat 数据输入类(源码)
摘要： Hadoop 1. InputFormat(抽象类) 数据输入 1.2.1 FileInputFormat 1. 切片方法 1.1 抽象方法 1. public abstract List<InputSplit> getSplits (JobContext context) 2. public ab 阅读全文
posted @ 2021-12-19 23:10 学而不思则罔！ 阅读(104) 评论(0) 推荐(0)
03_MapReduce框架原理_3.4 InputSplit 切片类(源码)
摘要： Hadoop 2. InputSplit 切片类 1.0 类的作用 InputSplit 他在逻辑上包含了提供给处理这个Inputsplit的Mapper的所有的key-value 1.1 抽象方法 1. public abstract long getLength() 2. public abst 阅读全文
posted @ 2021-12-19 22:39 学而不思则罔！ 阅读(168) 评论(0) 推荐(0)
03_MapReduce框架原理_3.3 切片与 MapTask并行度
摘要： Hadoop 3. 切片 与 MapTask并行度 1. MapTask并行度 切片数 = MapTask 任务数(并行度) 0 . 术语 1. 数据块(Block) 2. 数据切片(Split) 1. Block是 HDFS物理上把数据文件分成一块一块 1. 数据切片只是在 逻辑上对输入数据进行分 阅读全文
posted @ 2021-12-19 17:53 学而不思则罔！ 阅读(51) 评论(0) 推荐(0)