摘要： 一、内存管理 ### 内存管理 ~~~ 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程： ~~~ Driver为主控进程，负责创建 Spark 上下文，提交 Spark 作业，将作业转化为 Task， ~~~ 并在各个 Executo 阅读全文

摘要： 一、静态内存管理 ### 静态内存管理 ### 静态内存架构 ~~~ Spark 2.0 以前版本采用静态内存管理机制。存储内存、 ~~~ 执行内存和其他内存的大小在 Spark 应用程序运行期间均为固定的， ~~~ 但用户可以应用程序启动前进行配置，堆内内存的分配如下图所示： ### 静态内存管理 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Shuffle Writer ### Shuffle Writer：ShuffleWriter（抽象类），有3个具体的实现： ~~~ SortShuffleWriter。sortShulleWriter 需要在 Map 排序 ~~~ UnsafeShuffleWriter。使用 Java Uns 阅读全文

摘要： 一、Hadoop Shuffle 与 Spark Shuffle 的区别 ### 共同点： ~~~ 二者从功能上看是相似的；从High Level来看，没有本质区别，实现（细节）上有区别 ### 实现上的区别： ~~~ Hadoop中有一个Map完成，Reduce便可以去fetch数据了，不必等到所 阅读全文

摘要： 一、Shuffle详解 ### shuffle详解 ~~~ 在 Spark 或 MapReduce 分布式计算框架中，数据被分成一块一块的分区， ~~~ 分布在集群中各节点上，每个计算任务一次处理一个分区， ~~~ 当需要对具有某种共同特征的一类数据进行计算时，就需要将集群中的这类数据汇聚到同一节点 阅读全文

摘要： 一、Hash Shuffle V1 ### Hash Shuffle V1 ~~~ 相对于传统的 MapReduce， ~~~ Spark 假定大多数情况下 Shuffle 的数据不需要排序，强制排序反而会降低性能。 ~~~ 因此不在 Shuffle Read 时做 Merge Sort，如果需要合 阅读全文

摘要： 一、Sort Shuffle V1 ### Sort Shuffle V1 ~~~ 为了更好地解决上面的问题，Spark 参考了 MapReduce 中 Shuffle 的处理方式， ~~~ 引入基于排序的 Shuffle 写操作机制。 ~~~ 每个 Task 不会为后续的每个 Task 创建单独的 阅读全文

摘要： 一、本地化调度 ### 本地化调度 ~~~ DAGScheduler切割Job，划分Stage。 ~~~ 调用submitStage来提交一个Stage对应的tasks，submitStage会调用submitMissingTasks， ~~~ submitMissingTasks 确定每个需要计算 阅读全文

摘要： 一、Task调度 ### Task调度 ### TaskSetManager 结构如下图所示： ~~~ Task 的调度是由 TaskScheduler 来完成（底层调度）。 ~~~ DAGScheduler 将 Stage 打包到 TaskSet 交给TaskScheduler， ~~~ Task 阅读全文

摘要： 一、作业执行原理 ### 调度策略 ~~~ TaskScheduler会先把 DAGScheduler 给过来的 TaskSet 封装成 TaskSetManager 扔到任务队列里， ~~~ 然后再从任务队列里按照一定规则把它们取出来，由 SchedulerBackend 发送给Executor运 阅读全文

摘要： 一、Stage划分 ### 提交 Task ~~~ 得到RDD中需要计算的partition ~~~ 对于Shuffle类型的stage，需要判断stage中是否缓存了该结果； ~~~ 对于Result类型的Final Stage，则判断计算Job中该partition是否已经计算完成。 ~~~ 这 阅读全文

摘要： 一、Stage划分 ### 提交ResultStage ~~~ submitStage 方法会通过入参 ResultStage 逐层获取父stage， ~~~ 再从最上游stage开始逐步调用TaskScheduler.submitTasks 方法提交task集合， ~~~ 最后才提交ResultS 阅读全文

摘要： 一、Stage划分 ### 调用 dagScheduler.handleJobSubmitted ~~~ # 源码提取说明：DAGScheduler.scala ~~~ # 952行~1015行 // 处理Job的提交 private[scheduler] def handleJobSubmitte 阅读全文

摘要： 一、Stage划分 ### handleJobSubmitted => createResultStage ~~~ # 源码提取说明： ~~~ # 440行~522行 private def createResultStage( rdd: RDD[_], func: (TaskContext, It 阅读全文

摘要： 一、Stage划分 ### Stage划分 ~~~ Spark的任务调度从 DAG 划分开始，由 DAGScheduler 完成 ~~~ DAGScheduler 根据 RDD 的血缘关系构成的 DAG 进行切分，将一个Job划分为若干Stages， ~~~ 具体划分策略是：从最后一个RDD开始， 阅读全文

摘要： 一、stage划分 ### dagScheduler.submit 发送消息 ~~~ # 源码提取说明：DAGScheduler.scala ~~~ # 676行~703行 def submitJob[T, U]( rdd: RDD[T], func: (TaskContext, Iterator[ 阅读全文

摘要： 一、作业执行原理 ### 任务调度概述 ~~~ 再次简要回顾 Spark 中的几个重要概念： ~~~ Job 是以 Action 方法为界，遇到一个 Action 方法则触发一个 Job ~~~ Stage 是 Job 的子集，以 RDD 宽依赖(即 Shuffle)为界，遇到 Shuffle 做一 阅读全文

摘要： 一、作业执行原理 ### job触发 ~~~ Action 操作后会触发 Job 的计算，并交给 DAGScheduler 来提交。 二、作业执行原理 ### 作业执行原理 ~~~ Action 触发 sc.runJob ~~~ 触发 dagScheduler.runJob ~~~ spark.lo 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文