摘要: 本篇文章主要剖析broadcast 的实现机制。 BroadcastManager初始化 BroadcastManager初始化方法源码如下: TorrentBroadcastFactory的继承关系如下: BroadcastFactory An interface for all the broa 阅读全文
posted @ 2019-07-16 09:05 JohnnyBai 阅读(1277) 评论(0) 推荐(1) 编辑
摘要: 对SerializerManager的说明: 它是为各种Spark组件配置序列化,压缩和加密的组件,包括自动选择用于shuffle的Serializer。spark中的数据在network IO 或 local disk IO传输过程中。都需要序列化。其默认的 Serializer 是 org.ap 阅读全文
posted @ 2019-07-15 20:03 JohnnyBai 阅读(792) 评论(3) 推荐(3) 编辑
摘要: 工作中一直在用Oracle 的中间件Oracle GondenGate 是如何保证消息的有序和不丢失呢? Oracle GoldenGate逻辑架构 首先,先看一下Oracle GoldenGate 的逻辑架构: 图中涉及到两个阶段: 官方关于 trail文件的说明如下: To support th 阅读全文
posted @ 2019-07-11 23:11 JohnnyBai 阅读(648) 评论(0) 推荐(0) 编辑
摘要: 在spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRpcEnv中,剖析了NettyRpcEnv的创建过程。 Dispatcher、NettyStreamManager、TransportContext、TransportClientFactory、TransportSe 阅读全文
posted @ 2019-07-09 21:07 JohnnyBai 阅读(851) 评论(0) 推荐(0) 编辑
摘要: TransportClient类说明 先来看,官方文档给出的说明: Client for fetching consecutive chunks of a pre-negotiated stream. This API is intended to allow efficient transfer 阅读全文
posted @ 2019-07-08 23:46 JohnnyBai 阅读(706) 评论(0) 推荐(0) 编辑
摘要: StreamManager StreamManager类说明 StreamManager 官方说明如下: The StreamManager is used to fetch individual chunks from a stream. This is used in TransportRequ 阅读全文
posted @ 2019-07-08 23:45 JohnnyBai 阅读(596) 评论(0) 推荐(0) 编辑
摘要: spark 源码分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析 TransportResponseHandler分析 先来看类说明: Handler that p 阅读全文
posted @ 2019-07-08 23:45 JohnnyBai 阅读(779) 评论(0) 推荐(0) 编辑
摘要: spark 源码分析之八--Spark RPC剖析之TransportContext和TransportClientFactory剖析 TransportContext 首先官方文档对TransportContext的说明如下: Contains the context to create a Tr 阅读全文
posted @ 2019-07-05 00:11 JohnnyBai 阅读(657) 评论(0) 推荐(0) 编辑
摘要: RpcEndpoint 文档对RpcEndpoint的解释:An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart, receive 阅读全文
posted @ 2019-07-05 00:10 JohnnyBai 阅读(1169) 评论(0) 推荐(0) 编辑
摘要: 在上篇 spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRPCEnv 中,涉及到了Diapatcher 内容,未做过多的剖析。本篇来剖析一下它的工作原理。 Dispatcher 是消息的分发器,负责将消息分发给适合的 endpoint 其实这个类还是比较简单的,先来看它 阅读全文
posted @ 2019-07-03 22:21 JohnnyBai 阅读(987) 评论(0) 推荐(0) 编辑