摘要：
对SerializerManager的说明： 它是为各种Spark组件配置序列化，压缩和加密的组件，包括自动选择用于shuffle的Serializer。spark中的数据在network IO 或 local disk IO传输过程中。都需要序列化。其默认的 Serializer 是 org.ap 阅读全文
摘要：
工作中一直在用Oracle 的中间件Oracle GondenGate 是如何保证消息的有序和不丢失呢？ Oracle GoldenGate逻辑架构 首先，先看一下Oracle GoldenGate 的逻辑架构： 图中涉及到两个阶段： 官方关于 trail文件的说明如下： To support th 阅读全文
摘要：
在spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRpcEnv中，剖析了NettyRpcEnv的创建过程。 Dispatcher、NettyStreamManager、TransportContext、TransportClientFactory、TransportSe 阅读全文
摘要：
TransportClient类说明 先来看，官方文档给出的说明： Client for fetching consecutive chunks of a pre-negotiated stream. This API is intended to allow efficient transfer 阅读全文
摘要：
StreamManager StreamManager类说明 StreamManager 官方说明如下： The StreamManager is used to fetch individual chunks from a stream. This is used in TransportRequ 阅读全文
spark 源码分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析
摘要：
spark 源码分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析 TransportResponseHandler分析 先来看类说明： Handler that p 阅读全文
摘要：
spark 源码分析之八--Spark RPC剖析之TransportContext和TransportClientFactory剖析 TransportContext 首先官方文档对TransportContext的说明如下： Contains the context to create a Tr 阅读全文
摘要：
RpcEndpoint 文档对RpcEndpoint的解释：An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart, receive 阅读全文
摘要：
在上篇 spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRPCEnv 中，涉及到了Diapatcher 内容，未做过多的剖析。本篇来剖析一下它的工作原理。 Dispatcher 是消息的分发器，负责将消息分发给适合的 endpoint 其实这个类还是比较简单的，先来看它 阅读全文
摘要：
在前面源码剖析介绍中，spark 源码分析之二 -- SparkContext 的初始化过程 中的SparkEnv和 spark 源码分析之四 -- TaskScheduler的创建和启动过程 中的ClientApp启动过程中，都涉及到了Spark的内置RPC的知识。本篇专门把RPC 拿出来剖析一下 阅读全文