Spark 源码系列 - 目录

目录

• 版本
  • Spark相关
  • Spark On Yarn相关
• 目录

版本

本分析基于Spark version 3.1.2

Spark相关

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.1.2</version>
    <scope>compile</scope>
</dependency>

Spark On Yarn相关

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-yarn_2.12</artifactId>
    <version>3.2.1</version>
</dependency>

目录

Spark 源码系列 - SparkConf本质
Spark 源码系列 - SparkContext启动 - 运行模式
Spark 源码系列 - SparkSubmit - 提交到Yarn集群
Spark 源码系列 - Yarn集群处理
Spark 源码系列 - textFile 获取分区数
Spark 源码系列 - textFile 构建Rdd
Spark 源码系列 - textFile -> inputSplit
Spark 源码系列 - DAGScheduler 概述
Spark 源码系列 - EventLoop
Spark 源码系列 - DAGScheduler 触发
Spark 源码系列 - DAGScheduler 执行