摘要： 摘要：DAGScheduler 拿到 finalRDD 后，如何一步步回溯出完整的 Stage DAG？为什么 Stage 内部可以 Pipeline 执行而 Stage 之间必须串行？数据本地性如何影响 Task 分发？本文从四步切分算法、Pipeline 函数组合原理、递归提交顺序、数据本地性调 阅读全文

摘要： 摘要：为什么 map().filter() 可以在一个 Stage 内完成，而 reduceByKey() 必须切分新的 Stage？为什么 Shuffle 是 Spark 性能的头号杀手？答案就在 RDD 的依赖类型之中——NarrowDependency 与 ShuffleDependency。 阅读全文

摘要： 摘要：如果 Driver 是 Spark 的大脑，Executor 就是它的计算引擎。一个 Executor 是一个独立的 JVM 进程，内部通过固定大小的线程池并发执行 Task。本文从 Executor 内部架构全景、CoarseGrainedExecutorBackend 通信层、线程池模型与 阅读全文

摘要： 摘要：Spark Worker 是 Standalone 集群中每台节点上的"大管家"。它负责向 Master 注册签到、每 15 秒发送心跳、接收 Master 指令 fork Executor 和 DriverWrapper 进程、实时追踪本节点的 CPU/内存资源余量、并在进程退出时回收资源。 阅读全文

摘要： 摘要：你是否清楚一个 Spark 应用中到底有几个 Job？为什么 .collect() 会触发 Job 而 .map() 不会？Application、Job、Stage、Task 之间的关系到底是什么？本文从四层执行层级全景图、Action 触发 Job 的源码链路、DAGScheduler 的 阅读全文

摘要： 摘要：如果说 Job 是 Spark 的"任务单"，Stage 就是"施工阶段"，Task 就是每个工人的"具体活"。一个 Job 被 DAGScheduler 沿 Shuffle 边界切分为多个 Stage——前面的全是 ShuffleMapStage，最后一个必须是 ResultStage。每个 阅读全文

摘要： 摘要：如果把 Spark 应用比作一个人，Driver 就是它的大脑。从 spark-submit 敲下回车的那一刻起，SparkContext 初始化、DAGScheduler 切分 Stage、TaskScheduler 分发 Task、SchedulerBackend 与集群通信、SparkE 阅读全文

摘要： 摘要：你有没有好奇过——为什么 --master spark:// 和 --master yarn 切换如此丝滑？这背后是 Spark 设计中最精妙的抽象层之一——ClusterManager。它通过 ExternalClusterManager 接口 + ServiceLoader 机制，将 St 阅读全文

摘要： 摘要：这是 Spark 部署模式系列的终章。如果说 Client 模式是你手中的风筝，Cluster 模式就是放飞到云端的无人机——spark-submit 提交后即可退出，Driver 在集群中独立运行。本文从 Standalone-Cluster 与 YARN-Cluster 命令对比、--su 阅读全文

摘要： 摘要：spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 阅读全文