随笔分类 - Spark
1
摘要：本课主题 Broadcast 运行原理图 Broadcast 源码解析 Broadcast 运行原理图 Broadcast 就是将数据从一个节点发送到其他的节点上; 例如 Driver 上有一张表，而 Executor 中的每个并行执行的Task (100万个Task) 都要查询这张表的话，那我们通
阅读全文
摘要：本課主題 DataSet 实战 DataSet 实战 SparkSession 是 SparkSQL 的入口，然后可以基于 sparkSession 来获取或者是读取源数据来生存 DataFrameReader，在 Spark 2.x 版本中已经没有 DataFrame 的 API，它变成了 Dat
阅读全文
摘要：本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Checkpoint 运行原理图 [下图是 Checkpoint 运行原理图] Checkpoint 源码解析 參考資料 资料来源来至 D
阅读全文
摘要：本课主题 Static MemoryManager 的源码鉴赏 Unified MemoryManager 的源码鉴赏 引言 从源码的角度了解 Spark 内存管理是怎么设计的，从而知道应该配置那个参数让程序运行更适合你的实际需要，我们为什么要把 Spark Memory 这块内存调大，原因很简单，
阅读全文
摘要：本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原理和机制 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的
阅读全文
摘要：本课主题 CacheManager 运行原理图 CacheManager 源码解析 CacheManager 运行原理图 [下图是CacheManager的运行原理图] 首先 RDD 是通过 iterator 来进行计算： CacheManager 会通过 BlockManager 从 Local
阅读全文
摘要：本课主题 BlockManager 运行實例 BlockManager 原理流程图 BlockManager 源码解析 引言 BlockManager 是管理整个Spark运行时的数据读写的，当然也包含数据存储本身，在这个基础之上进行读写操作，由于 Spark 本身是分布式的，所以 BlockMan
阅读全文
摘要：本课主题 Task执行内幕与结果处理解密 引言 这一章我们主要关心的是 Task 是怎样被计算的以及结果是怎么被处理的 了解 Task 是怎样被计算的以及结果是怎么被处理的 Task 执行原理流程图 [下图是Task执行原理流程图] ShuffleMapTask: ShuffleMapTask 在计
阅读全文
摘要：本課主題 通过 Spark-shell 窥探程序运行时的状况 TaskScheduler 与 SchedulerBackend 之间的关系 FIFO 与 FAIR 两种调度模式彻底解密 Task 数据本地性资源分配源码实现 引言 TaskScheduler 是 Spark 整个调度的底层调度器，底层
阅读全文
摘要：本课主题 打通 Spark 系统运行内幕机制循环流程 引言 通过 DAGScheduelr 面向整个 Job，然后划分成不同的 Stage，Stage 是從后往前划分的，执行的时候是從前往后执行的，每个 Stage 内部有一系列任務，前面有分享過，任务是并行计算啦，这是并行计算的逻辑是完全相同的，只
阅读全文
摘要：本課主題 Sorted-Based Shuffle 的诞生和介绍 Shuffle 中六大令人费解的问题 Sorted-Based Shuffle 的排序和源码鉴赏 Shuffle 在运行时的内存管理 引言 在历史的发展中，为什么 Spark 最终还是选择放弃了 HashShuffle 而使用了 So
阅读全文
摘要：本課主題 Job Stage 划分算法解密 Task 最佳位置算法實現解密 引言 作业调度的划分算法以及 Task 的最佳位置的算法，因为 Stage 的划分是DAGScheduler 工作的核心，这也是关系到整个作业有集群中该怎么运行；其次就是数据本地性，Spark 一舨的代码都是链式表达的，这就
阅读全文
摘要：本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark Ha
阅读全文
摘要：本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 Spark 更高性能的算子 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它
阅读全文
[Spark内核] 第33课：Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕
摘要：本課主題 Spark Executor 工作原理图 ExecutorBackend 注册源码鉴赏和 Executor 实例化内幕 Executor 具体是如何工作的 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Spark Executor 工作原理图 第
阅读全文
摘要：本課主題 Spark Worker 原理 Worker 启动 Driver 源码鉴赏 Worker 启动 Executor 源码鉴赏 Worker 与 Master 的交互关系 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Spark Worker 原理图
阅读全文
摘要：本課主題 Master 资源调度的源码鉴赏 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... 资源调度管理 Master 资源调度的源码鉴赏 當前 Master 必需是 Alive 的方式才可以進行資源調度，一開始的時候會判斷一下狀態，如果不是 Alive 的
阅读全文
摘要：本課主題 Master 接收 Worker, Driver, Application Master 处理 Driver 狀态变换 Master 处理 Executor 狀态变换 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master 接受 Driver
阅读全文
摘要：本课主题 Master HA 解析 Master HA 解析源码分享 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master HA 解析 Spark Master HA on ZooKeeper 切換流程圖 Master HA 的四大方式 ZOOKEE
阅读全文
摘要：本課主題 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 我说的 Spark 天堂之门就是SparkContext，这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl、DAGScheduler 和 Sche
阅读全文
1
浙公网安备 33010602011771号