2017年3月12日
[Spark內核] 第41课：Checkpoint彻底解密：Checkpoint的运行原理和源码实现彻底详解
摘要： 本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Checkpoint 运行原理图 [下图是 Checkpoint 运行原理图] Checkpoint 源码解析 參考資料 资料来源来至 D 阅读全文
posted @ 2017-03-12 18:29 無情 阅读(5889) 评论(0) 推荐(0) 编辑
[Spark性能调优] 源码补充 : Spark 2.1.X 中 Unified 和 Static MemoryManager
摘要： 本课主题 Static MemoryManager 的源码鉴赏 Unified MemoryManager 的源码鉴赏 引言 从源码的角度了解 Spark 内存管理是怎么设计的，从而知道应该配置那个参数让程序运行更适合你的实际需要，我们为什么要把 Spark Memory 这块内存调大，原因很简单， 阅读全文
posted @ 2017-03-12 16:16 無情 阅读(1455) 评论(1) 推荐(0) 编辑
[Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情
摘要： 本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原理和机制 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的 阅读全文
posted @ 2017-03-12 13:41 無情 阅读(18820) 评论(0) 推荐(4) 编辑
2017年3月7日
[Spark内核] 第40课：CacheManager彻底解密：CacheManager运行原理流程图和源码详解
摘要： 本课主题 CacheManager 运行原理图 CacheManager 源码解析 CacheManager 运行原理图 [下图是CacheManager的运行原理图] 首先 RDD 是通过 iterator 来进行计算： CacheManager 会通过 BlockManager 从 Local 阅读全文
posted @ 2017-03-07 00:31 無情 阅读(1907) 评论(0) 推荐(0) 编辑
2017年3月6日
[Spark内核] 第38课：BlockManager架构原理、运行流程图和源码解密
摘要： 本课主题 BlockManager 运行實例 BlockManager 原理流程图 BlockManager 源码解析 引言 BlockManager 是管理整个Spark运行时的数据读写的，当然也包含数据存储本身，在这个基础之上进行读写操作，由于 Spark 本身是分布式的，所以 BlockMan 阅读全文
posted @ 2017-03-06 01:44 無情 阅读(7431) 评论(0) 推荐(1) 编辑
2017年3月5日
[Spark内核] 第37课：Task执行内幕与结果处理解密
摘要： 本课主题 Task执行内幕与结果处理解密 引言 这一章我们主要关心的是 Task 是怎样被计算的以及结果是怎么被处理的 了解 Task 是怎样被计算的以及结果是怎么被处理的 Task 执行原理流程图 [下图是Task执行原理流程图] ShuffleMapTask: ShuffleMapTask 在计 阅读全文
posted @ 2017-03-05 20:35 無情 阅读(1053) 评论(0) 推荐(0) 编辑
[Spark内核] 第36课：TaskScheduler内幕天机解密：Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等
摘要： 本課主題 通过 Spark-shell 窥探程序运行时的状况 TaskScheduler 与 SchedulerBackend 之间的关系 FIFO 与 FAIR 两种调度模式彻底解密 Task 数据本地性资源分配源码实现 引言 TaskScheduler 是 Spark 整个调度的底层调度器，底层 阅读全文
posted @ 2017-03-05 20:34 無情 阅读(1882) 评论(0) 推荐(1) 编辑
2017年3月1日
[Spark内核] 第35课：打通 Spark 系统运行内幕机制循环流程
摘要： 本课主题 打通 Spark 系统运行内幕机制循环流程 引言 通过 DAGScheduelr 面向整个 Job，然后划分成不同的 Stage，Stage 是從后往前划分的，执行的时候是從前往后执行的，每个 Stage 内部有一系列任務，前面有分享過，任务是并行计算啦，这是并行计算的逻辑是完全相同的，只 阅读全文
posted @ 2017-03-01 23:33 無情 阅读(1338) 评论(0) 推荐(0) 编辑
2017年2月28日
[Spark性能调优] 第三章 : Spark 2.1.0 中 Sort-Based Shuffle 产生的内幕
摘要： 本課主題 Sorted-Based Shuffle 的诞生和介绍 Shuffle 中六大令人费解的问题 Sorted-Based Shuffle 的排序和源码鉴赏 Shuffle 在运行时的内存管理 引言 在历史的发展中，为什么 Spark 最终还是选择放弃了 HashShuffle 而使用了 So 阅读全文
posted @ 2017-02-28 11:19 無情 阅读(4485) 评论(0) 推荐(2) 编辑
2017年2月26日
[Spark内核] 第34课：Stage划分和Task最佳位置算法源码彻底解密
摘要： 本課主題 Job Stage 划分算法解密 Task 最佳位置算法實現解密 引言 作业调度的划分算法以及 Task 的最佳位置的算法，因为 Stage 的划分是DAGScheduler 工作的核心，这也是关系到整个作业有集群中该怎么运行；其次就是数据本地性，Spark 一舨的代码都是链式表达的，这就 阅读全文
posted @ 2017-02-26 00:43 無情 阅读(3336) 评论(0) 推荐(2) 编辑