starzy - 博客园

2026年8月1日

摘要：摘要：YARN-Client 是生产环境中使用最广泛的 Spark 部署模式。它的独特之处在于——Driver 运行在提交客户端，而 ApplicationMaster 退化为轻量级的 ExecutorLauncher，仅负责向 ResourceManager 申请 Container 启动 Exe 阅读全文

posted @ 2026-08-01 18:29 starzy 阅读(18) 评论(0) 推荐(0)

Spark 核心之 Standalone-Cluster 模式：原理、流程与源码级深度拆解

摘要：摘要：如果说 Client 模式是开发者的"调试利器"，那么 Cluster 模式就是生产环境的"定海神针"。Driver 不再运行在你的笔记本上，而是被 Master 调度到集群 Worker 节点——spark-submit 提交完即可退出，应用完全脱离客户端独立运行。本文从整体架构、11 步启阅读全文

posted @ 2026-08-01 17:25 starzy 阅读(14) 评论(0) 推荐(0)

图解 Spark Standalone-Client 模式：源码级深度拆解

摘要： Spark 核心之 Standalone-Client 模式：原理、流程与源码级深度拆解摘要：Spark 的部署模式是面试和实际生产中最高频的话题之一，而 Standalone-Client 模式更是 90% 的开发者最常用却对其底层一知半解的模式。本文从整体架构、组件职责、启动流程、消息交互、任阅读全文

posted @ 2026-08-01 14:15 starzy 阅读(10) 评论(0) 推荐(0)

2026年7月31日

Spark Action 算子详解：四大分类、数据流向与 DAG 触发执行原理

摘要： SparkCore 之 Spark Action 类算子详解摘要：系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类，逐个剖析语法、底层原理、Driver/Executor 数据流向和性能陷阱。配有 2 张原创架构图、完整 Scala 代码示例和常见 OOM 阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(6) 评论(0) 推荐(0)

Spark Transformation 算子详解：五大分类、窄宽依赖与 Pipeline 执行原理

摘要： SparkCore 之 Spark Transformation 类算子详解摘要：系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类，逐个剖析语法、依赖类型（窄/宽）、底层原理、性能特征和适用场景。配有 2 张原创阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(18) 评论(0) 推荐(0)

Spark RDD 五大特性及弹性分布式容错原理深度剖析

摘要： SparkCore 之 Spark RDD 五大特性及弹性分布式容错原理剖析摘要：深入 RDD 源码级五大特性（Partitions、Compute、Dependency、Partitioner、PreferredLocations），系统拆解 Lineage 血统机制、窄宽依赖计算图、Parti 阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(18) 评论(0) 推荐(0)

Spark Core 企业级分布式集群搭建：从零到高可用生产环境部署全流程

摘要： SparkCore 之 Spark 企业级分布式集群搭建摘要：从零搭建企业级 Spark 分布式集群——涵盖集群规划、节点角色分配、SSH 免密、JDK 安装、Hadoop/YARN 基础集群部署、Spark 集群安装配置、ZooKeeper 高可用、History Server、性能调优参数、集阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(19) 评论(0) 推荐(0)

Spark Core 运行模式全解：Local/Standalone/YARN/Kubernetes 架构原理与选型指南

摘要： SparkCore 之 Spark 运行模式系统讲解摘要：从 Local 本地调试到 YARN 生产集群、Kubernetes 云原生部署，系统讲解 Spark 五大运行模式的架构原理、配置方法、适用场景和模式选型决策树。配有 4 张原创架构图、各模式 spark-submit 命令模板、clie 阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(21) 评论(0) 推荐(0)

Spark Core 开发环境全链路配置指南：从 JDK 到 IDEA 一文搞定

摘要： Spark Core 之 Spark 基于开发工具的详细配置讲解摘要：JDK → Scala → Spark → Maven → IDEA 全链路安装配置，完整 pom.xml 可直接复制使用，WordCount 源码逐行解析，10 个高频错误排查，4 张原创架构图，四阶段学习路线。面向 Java 阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(27) 评论(0) 推荐(0)

Spark凭什么叫板MapReduce？从演变历史到架构对比，一次说清代际更替

摘要： 2014 年，Spark 在 Daytona GraySort 基准测试中以 1/10 的机器数量、3 倍的速度击败 Hadoop MapReduce，一举终结了 MR 的黄金时代。本文从演变历史、架构设计、Shuffle 机制三个维度深度对比 Spark 与 MapReduce，帮你理解这场代际阅读全文

posted @ 2026-07-31 10:17 starzy 阅读(20) 评论(0) 推荐(0)

公告