摘要:如下,是 spark 源码分析系列的一些文章汇总,持续更新中...... Spark RPC spark 源码分析之五--Spark RPC剖析之创建NettyRpcEnv spark 源码分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源码分析之 阅读全文
posted @ 2019-07-28 16:58 JohnnyBai 阅读 (764) 评论 (0) 编辑
该文被密码保护。
posted @ 2020-03-26 01:49 JohnnyBai 阅读 (2) 评论 (0) 编辑
该文被密码保护。
posted @ 2020-02-29 14:54 JohnnyBai 阅读 (22) 评论 (0) 编辑
该文被密码保护。
posted @ 2020-02-28 16:37 JohnnyBai 阅读 (5) 评论 (0) 编辑
摘要:kafka 老版本的编译有很多的不兼容的问题,故记录之。 1. 准备 jdk1.8 gradle3.1 scala2.11.8 idea zookeeper(单机集群都可以) 2. 下载源码 从 http://archive.apache.org/dist/kafka/ 下载 0.10.0.1 版本 阅读全文
posted @ 2020-02-24 10:53 JohnnyBai 阅读 (45) 评论 (0) 编辑
摘要:前言 在《Spark SQL内核剖析》书中4.3章节,谈到Catalyst体系中生成的抽象语法树的节点都是以Context来结尾,在ANLTR4以及生成的SqlBaseParser解析SQL生成,其源码部分就是语法解析,其生成的抽象语法树的节点都是ParserRuleContext的子类。 提出问题 阅读全文
posted @ 2020-02-22 13:49 JohnnyBai 阅读 (131) 评论 (0) 编辑
摘要:前言 一个SQL从词法解析、语法解析、逻辑执行计划、物理执行计划最终转换为可以执行的RDD,中间经历了很多的步骤和流程。其中词法分析和语法分析均有ANTLR4完成,可以进一步学习ANTLR4的相关知识做进一步了解。 本篇文章主要对一个简单的SQL生成的逻辑执行计划物理执行计划的做一个简单地说明。 示 阅读全文
posted @ 2020-02-21 22:07 JohnnyBai 阅读 (151) 评论 (0) 编辑
摘要:提出问题 1. shuffle过程的数据是如何传输过来的,是按文件来传输,还是只传输该reduce对应在文件中的那部分数据? 2. shuffle读过程是否有溢出操作?是如何处理的? 3. shuffle读过程是否可以排序、聚合?是如何做的? 。。。。。。 概述 在 spark shuffle的写操 阅读全文
posted @ 2019-08-09 20:25 JohnnyBai 阅读 (329) 评论 (0) 编辑
摘要:提出问题 1. spark shuffle的预聚合操作是如何做的,其中底层的数据结构是什么?在数据写入到内存中有预聚合,在读溢出文件合并到最终的文件时是否也有预聚合操作? 2. shuffle数据的排序是如何做的? 分区内的数据是否是有序的?若有序,spark 内部是按照什么排序算法来排序每一个分区 阅读全文
posted @ 2019-08-06 23:44 JohnnyBai 阅读 (437) 评论 (0) 编辑
摘要:前言 在前两篇文章 spark shuffle的写操作之准备工作 中引出了spark shuffle的三种实现,spark shuffle写操作三部曲之BypassMergeSortShuffleWriter 讲述了BypassMergeSortShuffleWriter 用于shuffle写操作的 阅读全文
posted @ 2019-08-04 23:23 JohnnyBai 阅读 (400) 评论 (0) 编辑
摘要:前言 再上一篇文章 spark shuffle的写操作之准备工作 中,主要介绍了 spark shuffle的准备工作,本篇文章主要介绍spark shuffle使用BypassMergeSortShuffleWriter写数据详细细节。 在本篇文章中如果有不了解的术语,也可以参照 spark sh 阅读全文
posted @ 2019-08-03 07:00 JohnnyBai 阅读 (279) 评论 (0) 编辑