摘要: 一、背景介绍 用户在使用 Spark 提交任务时,经常会出现任务完成后在 HistoryServer(Spark 1.6 和 Spark 2.1 HistoryServer 合并,统一由 Spark 2.1 HistoryServer 管控,因此本文的代码分析都是基于 Spark 2.1 版本的代码 阅读全文
posted @ 2020-10-30 11:26 笨小康u 阅读(3204) 评论(0) 推荐(0) 编辑
摘要: 在 《ApplicationMaster启动及资源申请源码分析》中,AM 向 RM 注册后,会周期性地通过 RPC 函数 ApplicationMaster#allocate() 与 RM 通信,通信目的包括请求资源、获取新分配的资源及形成周期性心跳,本文中我们重点看看 AM 向 RM 申请到 Co 阅读全文
posted @ 2020-10-30 11:00 笨小康u 阅读(2098) 评论(0) 推荐(0) 编辑