05 2018 档案

yarn的架构及原理
摘要：1. YARN产生背景 MapReduce本身存在着一些问题： 1）JobTracker单点故障问题；如果Hadoop集群的JobTracker挂掉，则整个分布式集群都不能使用了。 2）JobTracker承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如Stor 阅读全文
posted @ 2018-05-24 21:59 yn_huang 阅读(2622) 评论(0) 推荐(0)
MapReduce工作原理
摘要：1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1.2 Job提交流程源码和切片源码详解 Job提交流程源码详解 2. MapReduce工作流程 2.1 流程示意图 2.2 流程详解 上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步 阅读全文
posted @ 2018-05-20 19:36 yn_huang 阅读(367) 评论(0) 推荐(0)