2019年3月30日
2.1.5、SparkEnv中创建MapOutputTracker
摘要： SparkEnv中创建MapOutputTracker def registerOrLookupEndpoint( name: String, endpointCreator: => RpcEndpoint): RpcEndpointRef = { if (isDriver) { logInfo(" 阅读全文
posted @ 2019-03-30 10:20 宝哥大数据 阅读(263) 评论(0) 推荐(0)
2.1.4、SparkEnv中创建BroadcastManager
摘要： Broadcast是分布式的数据共享，由BroadcastManager负责管理其创建或销毁。Broadcast一般用于处理共享的配置文件、通用Dataset、常用数据结构 通过SparkContext.broadcast广播一个Broadcast, 实际调用的是SparkEnv的BroadMana 阅读全文
posted @ 2019-03-30 00:10 宝哥大数据 阅读(477) 评论(0) 推荐(0)