摘要: 在前面源码剖析介绍中,spark 源码分析之二 -- SparkContext 的初始化过程 中的SparkEnv和 spark 源码分析之四 -- TaskScheduler的创建和启动过程 中的ClientApp启动过程中,都涉及到了Spark的内置RPC的知识。本篇专门把RPC 拿出来剖析一下 阅读全文
posted @ 2019-07-02 22:19 JohnnyBai 阅读(1971) 评论(0) 推荐(0) 编辑
摘要: 在 spark 源码分析之二 -- SparkContext 的初始化过程 中,第 14 步 和 16 步分别描述了 TaskScheduler的 初始化 和 启动过程。 话分两头,先说 TaskScheduler的初始化过程 TaskScheduler的实例化 其调用了org.apache.spa 阅读全文
posted @ 2019-07-02 20:05 JohnnyBai 阅读(1405) 评论(0) 推荐(0) 编辑