2018年6月30日
Mapper类的源码分析
摘要： Mapper类源码解析 1.来自[org.apache.hadoop.mapreduce.Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>] 2.java Doc说明： Map将输入数据<k,v>转换成中间数据集<k,v> map将为输入的数据的每一个记录(行)执行m 阅读全文
posted @ 2018-06-30 19:36 Coding_Now 阅读(317) 评论(0) 推荐(0)
BlockLocation---datanodeInfo
摘要： BlockLocation代码跟踪 1.client-->[DistributedFileSystem.class]fs.getFileBlockLocations -->[DistributedFileSystem.class]fs.getFileBlockLocations(重载) -->[DF 阅读全文
posted @ 2018-06-30 19:30 Coding_Now 阅读(284) 评论(0) 推荐(0)
MapReduce的简单实例WordCount
摘要： hadoop 1.组成：common，hdfs，mapreduce，yarn 2.hadoop集群搭建：3种【搭建流程】 3.hdfs shell命令 4.hdfs体系结构：主从节点{namenode,datanode,secondarynamenode}都是守护进程而非节点：【官网结构图】 fsi 阅读全文
posted @ 2018-06-30 19:25 Coding_Now 阅读(239) 评论(0) 推荐(0)