02 2017 档案

[Spark性能调优] 第三章 : Spark 2.1.0 中 Sort-Based Shuffle 产生的内幕
摘要：本課主題 Sorted-Based Shuffle 的诞生和介绍 Shuffle 中六大令人费解的问题 Sorted-Based Shuffle 的排序和源码鉴赏 Shuffle 在运行时的内存管理 引言 在历史的发展中，为什么 Spark 最终还是选择放弃了 HashShuffle 而使用了 So 阅读全文
posted @ 2017-02-28 11:19 無情 阅读(4619) 评论(0) 推荐(2)
[Spark内核] 第34课：Stage划分和Task最佳位置算法源码彻底解密
摘要：本課主題 Job Stage 划分算法解密 Task 最佳位置算法實現解密 引言 作业调度的划分算法以及 Task 的最佳位置的算法，因为 Stage 的划分是DAGScheduler 工作的核心，这也是关系到整个作业有集群中该怎么运行；其次就是数据本地性，Spark 一舨的代码都是链式表达的，这就 阅读全文
posted @ 2017-02-26 00:43 無情 阅读(3409) 评论(0) 推荐(2)
[Spark性能调优] 第二章：彻底解密Spark的HashShuffle
摘要：本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark Ha 阅读全文
posted @ 2017-02-25 20:13 無情 阅读(13776) 评论(3) 推荐(6)
[Spark性能调优] 第一章：性能调优的本质、Spark资源使用原理和调优要点分析
摘要：本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 Spark 更高性能的算子 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让在进入性能调优之前都是一个至关重要的问题，它 阅读全文
posted @ 2017-02-24 23:35 無情 阅读(12350) 评论(2) 推荐(2)
[Spark内核] 第33课：Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕
摘要：本課主題 Spark Executor 工作原理图 ExecutorBackend 注册源码鉴赏和 Executor 实例化内幕 Executor 具体是如何工作的 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Spark Executor 工作原理图 第 阅读全文
posted @ 2017-02-24 01:07 無情 阅读(5898) 评论(0) 推荐(0)
[Spark内核] 第32课：Spark Worker原理和源码剖析解密：Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等
摘要：本課主題 Spark Worker 原理 Worker 启动 Driver 源码鉴赏 Worker 启动 Executor 源码鉴赏 Worker 与 Master 的交互关系 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Spark Worker 原理图 阅读全文
posted @ 2017-02-23 23:52 無情 阅读(3408) 评论(1) 推荐(1)
[Spark内核] 第31课：Spark资源调度分配内幕天机彻底解密：Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结
摘要：本課主題 Master 资源调度的源码鉴赏 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... 资源调度管理 Master 资源调度的源码鉴赏 當前 Master 必需是 Alive 的方式才可以進行資源調度，一開始的時候會判斷一下狀態，如果不是 Alive 的 阅读全文
posted @ 2017-02-22 15:57 無情 阅读(1292) 评论(0) 推荐(0)
[Spark内核] 第30课：Master的注册机制和状态管理解密
摘要：本課主題 Master 接收 Worker, Driver, Application Master 处理 Driver 狀态变换 Master 处理 Executor 狀态变换 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master 接受 Driver 阅读全文
posted @ 2017-02-22 12:10 無情 阅读(1299) 评论(0) 推荐(1)
[Spark内核] 第29课：Master HA彻底解密
摘要：本课主题 Master HA 解析 Master HA 解析源码分享 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master HA 解析 Spark Master HA on ZooKeeper 切換流程圖 Master HA 的四大方式 ZOOKEE 阅读全文
posted @ 2017-02-22 10:53 無情 阅读(1712) 评论(0) 推荐(1)
[Spark内核] 第28课：Spark天堂之门解密
摘要：本課主題 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 我说的 Spark 天堂之门就是SparkContext，这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl、DAGScheduler 和 Sche 阅读全文
posted @ 2017-02-22 10:32 無情 阅读(2584) 评论(0) 推荐(3)