12 2020 档案
HIVE UDF
摘要：1、MAVEN依赖 <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec< 阅读全文
posted @ 2020-12-22 00:06 风语者未来 阅读(161) 评论(0) 推荐(0)
mapreduce任务中client生成split的源码过程
摘要：1、提交任务 //提交任务直到返回结果job.waitForCompletion(true); 2、点击waitForCompletion方法到Job.java类 3、跟进到submit方法，调用方法： return submitter.submitJobInternal(Job.this, clu 阅读全文
posted @ 2020-12-15 23:02 风语者未来 阅读(123) 评论(0) 推荐(0)
MapReduce任务运行过程
摘要：MR on YARN任务启动过程： 1、MR client 与NN通信，生成split信息，然后将split信息、jar包、运行配置信息上传到hdfs. 2、MR client向RM申请AppMaster。 3、RM分配到NM,NM启动AM。 4、AM向RM申请资源。 5、RM分配资源，对应的NM启 阅读全文
posted @ 2020-12-13 20:45 风语者未来 阅读(100) 评论(0) 推荐(0)
HDFS 读写流程
摘要：HDFS写流程： 1、Client和NN连接，创建文件元数据。 2、NN判定元数据是否有效，如是否已经存在等。 3、NN触发副本放置策略，返回一个有序的DN列表。 4、Client和DN、DN与DN之间（以及根据副本策略）建立pipeline连接 5、Client将数据块切分成64K的packet， 阅读全文
posted @ 2020-12-09 22:07 风语者未来 阅读(317) 评论(0) 推荐(0)