求知

摘要： 工作中一直在用Oracle 的中间件Oracle GondenGate 是如何保证消息的有序和不丢失呢？ Oracle GoldenGate逻辑架构 首先，先看一下Oracle GoldenGate 的逻辑架构： 图中涉及到两个阶段： 官方关于 trail文件的说明如下： To support th 阅读全文

摘要： 在spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRpcEnv中，剖析了NettyRpcEnv的创建过程。 Dispatcher、NettyStreamManager、TransportContext、TransportClientFactory、TransportSe 阅读全文

摘要： TransportClient类说明 先来看，官方文档给出的说明： Client for fetching consecutive chunks of a pre-negotiated stream. This API is intended to allow efficient transfer 阅读全文

摘要： StreamManager StreamManager类说明 StreamManager 官方说明如下： The StreamManager is used to fetch individual chunks from a stream. This is used in TransportRequ 阅读全文

摘要： spark 源码分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析 TransportResponseHandler分析 先来看类说明： Handler that p 阅读全文

摘要： spark 源码分析之八--Spark RPC剖析之TransportContext和TransportClientFactory剖析 TransportContext 首先官方文档对TransportContext的说明如下： Contains the context to create a Tr 阅读全文

摘要： RpcEndpoint 文档对RpcEndpoint的解释：An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart, receive 阅读全文

摘要： 在上篇 spark 源码分析之五 -- Spark内置RPC机制剖析之一创建NettyRPCEnv 中，涉及到了Diapatcher 内容，未做过多的剖析。本篇来剖析一下它的工作原理。 Dispatcher 是消息的分发器，负责将消息分发给适合的 endpoint 其实这个类还是比较简单的，先来看它 阅读全文

摘要： 在前面源码剖析介绍中，spark 源码分析之二 -- SparkContext 的初始化过程 中的SparkEnv和 spark 源码分析之四 -- TaskScheduler的创建和启动过程 中的ClientApp启动过程中，都涉及到了Spark的内置RPC的知识。本篇专门把RPC 拿出来剖析一下 阅读全文

摘要： 在 spark 源码分析之二 -- SparkContext 的初始化过程 中，第 14 步 和 16 步分别描述了 TaskScheduler的 初始化 和 启动过程。 话分两头，先说 TaskScheduler的初始化过程 TaskScheduler的实例化 其调用了org.apache.spa 阅读全文