Hadoop - 随笔分类 - 先行一步

2017.5.11 Yarn

摘要：Yarn在hadoop中的位置 Yarn的优点 Yarn运行机制 YARN主要由RM、NM、AM和Container等4个组件构成 ResourceManager ：处理客户端请求启动和监控ApplicationMaster 监控NodeManager 资源的分配与调度 NodeManager：阅读全文

posted @ 2017-05-11 17:30 先行一步阅读(185) 评论(0) 推荐(0)

2017.5.11 MapReduce运行机制

摘要：和HDFS一样，MapReduce也是采用Master/Slave的架构 MapReduce1包含4个部分：Client、JobTracker、TaskTracker和Task Client 将JAR文件、配置参数Configuration、计算分片、Distributed Cache 文件存储在H 阅读全文

posted @ 2017-05-11 17:10 先行一步阅读(346) 评论(0) 推荐(0)

2017.5.10 MapReduce内部逻辑

摘要：MapReduce内部逻辑 Split：HDFS 中的数据以 Split 方式作为 MapReduce 的输入 Block 是 HDFS 术语，Split 是 MapReduce 术语通常1个 Split 对应1个 block，也可能对应多个block，具体是由 InputFormat 和压缩格式阅读全文

posted @ 2017-05-10 20:30 先行一步阅读(209) 评论(0) 推荐(0)

导航

随笔分类 - Hadoop