摘要: SparkCore 之 Spark Action 类算子详解 摘要:系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类,逐个剖析语法、底层原理、Driver/Executor 数据流向和性能陷阱。配有 2 张原创架构图、完整 Scala 代码示例和常见 OOM 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(0) 评论(0) 推荐(0)
摘要: SparkCore 之 Spark Transformation 类算子详解 摘要:系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类,逐个剖析语法、依赖类型(窄/宽)、底层原理、性能特征和适用场景。配有 2 张原创 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(1) 评论(0) 推荐(0)
摘要: SparkCore 之 Spark RDD 五大特性及弹性分布式容错原理剖析 摘要:深入 RDD 源码级五大特性(Partitions、Compute、Dependency、Partitioner、PreferredLocations),系统拆解 Lineage 血统机制、窄宽依赖计算图、Parti 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(1) 评论(0) 推荐(0)
摘要: SparkCore 之 Spark 企业级分布式集群搭建 摘要:从零搭建企业级 Spark 分布式集群——涵盖集群规划、节点角色分配、SSH 免密、JDK 安装、Hadoop/YARN 基础集群部署、Spark 集群安装配置、ZooKeeper 高可用、History Server、性能调优参数、集 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(2) 评论(0) 推荐(0)
摘要: SparkCore 之 Spark 运行模式系统讲解 摘要:从 Local 本地调试到 YARN 生产集群、Kubernetes 云原生部署,系统讲解 Spark 五大运行模式的架构原理、配置方法、适用场景和模式选型决策树。配有 4 张原创架构图、各模式 spark-submit 命令模板、clie 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(2) 评论(0) 推荐(0)
摘要: Spark Core 之 Spark 基于开发工具的详细配置讲解 摘要:JDK → Scala → Spark → Maven → IDEA 全链路安装配置,完整 pom.xml 可直接复制使用,WordCount 源码逐行解析,10 个高频错误排查,4 张原创架构图,四阶段学习路线。面向 Java 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(0) 评论(0) 推荐(0)
摘要: 2014 年,Spark 在 Daytona GraySort 基准测试中以 1/10 的机器数量、3 倍的速度 击败 Hadoop MapReduce,一举终结了 MR 的黄金时代。本文从演变历史、架构设计、Shuffle 机制三个维度深度对比 Spark 与 MapReduce,帮你理解这场代际 阅读全文
posted @ 2026-07-31 10:17 starzy 阅读(1) 评论(0) 推荐(0)
摘要: 摘要:JDK → Scala → Spark → Maven → IDEA 全链路安装配置,完整 pom.xml 可直接复制使用,WordCount 源码逐行解析,10 个高频错误排查,4 张原创架构图,四阶段学习路线。面向 Java、大数据及 AI 开发工程师,确保读完即可动手搭建 Spark 开 阅读全文
posted @ 2026-07-31 10:14 starzy 阅读(1) 评论(0) 推荐(0)
摘要: 摘要:从 Local 本地调试到 YARN 生产集群、Kubernetes 云原生部署,系统讲解 Spark 五大运行模式的架构原理、配置方法、适用场景和模式选型决策树。配有 4 张原创架构图、各模式 spark-submit 命令模板、client vs cluster 深度对比。面向 Java、 阅读全文
posted @ 2026-07-31 10:12 starzy 阅读(2) 评论(0) 推荐(0)
摘要: SparkCore 之 Spark Action 类算子详解 摘要:系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类,逐个剖析语法、底层原理、Driver/Executor 数据流向和性能陷阱。配有 2 张原创架构图、完整 Scala 代码示例和常见 OOM 阅读全文
posted @ 2026-07-30 14:46 starzy 阅读(2) 评论(0) 推荐(0)