摘要: Yarn(统一资源调度器,任务监控管理器) 整合hadoop集群中资源(cpu,内存等)进行统一调度 监控map和reduce的执行状况 ResourceManager(master,负责整合资源调度) NodeManager(slave,负责计算) 关键配置 yarn-site.xml 1 <pr 阅读全文
posted @ 2020-04-17 21:49 Q1Zhen 阅读(152) 评论(0) 推荐(0)
摘要: 单节点NameNode存在问题: NameNode宕机,metadata数据消失; 单节点出现故障,如何进行故障转移? 如果增加一个NameNode节点,会出现脑裂问题(一个集群有多个管理者),如何解决? ZK搭建高可用(HA High Aliavble)HDFS集群 QJM(Quorum Jour 阅读全文
posted @ 2020-04-17 19:39 Q1Zhen 阅读(409) 评论(0) 推荐(0)