摘要: Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架,spark 2.X 版本以后完全抛弃 akka,而使用 netty 作为新的网络通信框架。最主要原因:spark 对 akka 没有维护,需要 akka 更新,spark 的发展受到了 akka 的牵制,akka 版本之间 阅读全文
posted @ 2019-05-02 21:00 黑泽君 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 第1章 Spark 整体概述1.1 整体概念1.2 RDD 抽象1.3 计算抽象1.4 集群模式1.5 RPC 网络通信抽象1.6 启动 Standalone 集群1.7 核心组件1.8 核心组件交互流程1.9 Block 管理1.10整体应用第2章 Spark 通信架构2.1 通信组件概览2.2 阅读全文
posted @ 2019-05-02 20:12 黑泽君 阅读(1616) 评论(0) 推荐(4) 编辑