私人小院

摘要： 1. 说明 2. 排序时机 与 排序算法 流程图 3. 排序分类 4. 实现 1. 说明 自定义类 为key 时,必须 实现 WritableComparable接口,否则无法排序 2. 实现 自定义类 实现 WritableComparable接口, 重写 compareTo 方法 5. 代码案例 阅读全文

摘要： 1. Partition 分区个数、ReduceTask并行度、分区器 点击查看 分区器 源码 /* 分区器使用流程 1. Driver中 指定分区个数 和分区器实现类 分区个数(ReduceTask个数) : job.setNumReduceTasks(n) 或 mapreduce.job.red 阅读全文

摘要： 点击查看 Shuffle 流程图 点击查看 Shuffle 机制 说明 Hadoop 6. Shuffle 机制 - (流程) 1. 什么是Shuffle&Shuffle的作用 1. Map方法之后,Reduce方法之前的数据处理过程 称之为 Shuffle 2. 流程说明 1. MapTask 通 阅读全文

摘要： Hadoop 1. InputFormat(抽象类) 数据输入 1.2.1 FileInputFormat 1. 切片方法 1.1 抽象方法 1. public abstract List<InputSplit> getSplits (JobContext context) 2. public ab 阅读全文

摘要： Hadoop 2. InputSplit 切片类 1.0 类的作用 InputSplit 他在逻辑上包含了提供给处理这个Inputsplit的Mapper的所有的key-value 1.1 抽象方法 1. public abstract long getLength() 2. public abst 阅读全文

摘要： Hadoop 3. 切片 与 MapTask并行度 1. MapTask并行度 切片数 = MapTask 任务数(并行度) 0 . 术语 1. 数据块(Block) 2. 数据切片(Split) 1. Block是 HDFS物理上把数据文件分成一块一块 1. 数据切片只是在 逻辑上对输入数据进行分 阅读全文

摘要： Hadoop 2. Job提交流程(源码) 1. 客户端 执行Driver类的main方法 2. var configuration = new Configuration 读取配置文件 Configuration: core-default.xml, core-site.xml, mapred-d 阅读全文

摘要： 阅读全文

摘要： 代码示例 package GroupByPoneNumPk { import java.io.{DataInput, DataOutput} import java.lang import org.apache.hadoop.conf.Configuration import org.apache. 阅读全文

摘要： 4. Java序列化(Serializable)框架 or Hadoop序列化(Writable)框架 代码示例 package twoPk { import java.io._ import java.util.Date import org.apache.hadoop.io.Writable / 阅读全文