摘要：Spark2 rpc 一、前言 Spark在1.6之前的通信使用的是akka框架，在1.6可选用akka还是netty，2.0之后摒弃akka。Akka也是一个优秀的框架，为什么摒弃它官方给出的原因如下： 1、很多Spark用户自己也是使用Akka，但是由于Akka版本之间无法互相通信，这就要求用户 阅读全文

摘要：一、内存划分 执行内存 (Execution Memory) : 主要用于存放 Shuffle、Join、Sort、Aggregation 等计算过程中的临时数据； 存储内存 (Storage Memory) : 主要用于存储 spark 的 cache 数据，例如RDD的缓存、unroll数据； 阅读全文