摘要：
Yarn的架构 ResourceManager：资源管理,主要负责整个yarn的资源调度与分配。 处理客户端的任务请求。 监控NodeManager。 启动或监控ApplicationMaster。 负责资源的分配与调度。 NodeManager：节点管理器,主要负责单个节点上的资源并向Resour 阅读全文
posted @ 2021-05-26 21:38
青聪
阅读(115)
评论(0)
推荐(0)
摘要：
MapReduce架构 MapReduce的两个阶段：Map映射、Reduce归约。 Map阶段：对数据进行处理。 Reduce阶段：对Map结果进行汇总。 Shuffle过程：'map'方法之后,'reducer'方法之前,是Map阶段和Reduce阶段的中间过程。 不同阶段对应的Task： Ma 阅读全文
posted @ 2021-05-25 22:35
青聪
阅读(186)
评论(0)
推荐(0)
摘要：
HDFS HDFS 概述 Hadoop Distributed File System：分布式文件系统，用于存储文件，通过目录树定位文件。 优点： 高容错性： 1.数据保存多个副本，提高容错性。 2.某个副本丢失后，可以根于预设置的副本数自动回复。 高可靠性： 通过多副本机制提高可靠性。 大数据量支 阅读全文
posted @ 2021-05-24 23:25
青聪
阅读(212)
评论(0)
推荐(0)
摘要：
Hadoop框架 1.X MapReduce、HDFS、Common 2.X MapReduce、Yarn、HDFS、Common MapReduce: 1.X 计算+资源调度 2.X 计算 Yarn：资源调度 HDFS：文件存储 Common：辅助工具 Hadoop1.X 存在的问题: <1>Na 阅读全文
posted @ 2021-05-24 22:52
青聪
阅读(94)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2021-05-24 22:25
青聪
阅读(53)
评论(0)
推荐(0)
浙公网安备 33010602011771号