Spark学习<二>:Spark基础设施
本文内容:Spark配置、RPC框架、事件总线、度量系统
一.Spark配置:
1)系统属性中的配置
2)使用SparkConf配置的API
3)克隆SparkConf配置
二.Spark内置的RPC框架
1)RPC配置TransportConf
2)RPC客户端工厂TransportClientFactory
3)RPC服务端TransportServer
4)管道初始化
5)TransportChannelHandler详解
本文内容:Spark配置、RPC框架、事件总线、度量系统
一.Spark配置:
1)系统属性中的配置
2)使用SparkConf配置的API
3)克隆SparkConf配置
二.Spark内置的RPC框架
1)RPC配置TransportConf
2)RPC客户端工厂TransportClientFactory
3)RPC服务端TransportServer
4)管道初始化
5)TransportChannelHandler详解