摘要: 本文主要介绍 ApplicationMaster 的运行流程,并从 ApplicationMaster 的启动、注册/心跳、Container 资源申请与分配三个角度分析相关源码。其中花了大量篇幅介绍 ApplicationMaster 的启动过程,包括任务提交流程、App/Attempt 转换过程 阅读全文
posted @ 2020-08-26 17:29 笨小康u 阅读(2373) 评论(0) 推荐(1) 编辑
摘要: 一、Yarn 资源调度方式 资源调度方式确定了当任务提交到集群,如何为其分配资源执行任务。在 FairScheduler 中提供了两种资源调度方式:心跳调度和连续调度。 心跳调度方式:NodeManager 向 ResourceManager 汇报了自身资源情况(比如,当前可用资源,正在使用的资源, 阅读全文
posted @ 2020-08-26 17:04 笨小康u 阅读(1983) 评论(0) 推荐(0) 编辑