摘要： 摘要：JDBC 是连接传统关系型数据库的桥梁。本文从 JDBC 读取三模式（整表/数值分区/自定义Predicate）、并行分区原理、谓词/列裁剪下推、批量写入、连接池管理、以及四大常见坑六个维度，配合 2 张架构图 + 完整代码实例，覆盖 JDBC 操作的全部实践要点。 关键词：spark.rea 阅读全文

摘要： 摘要：Parquet 是 Spark 生态中最推荐的列式存储格式——Schema 自描述（零推断）、谓词下推到 Row Group 级别、列式 Vectorized 批量解码（比逐行快 3~5x）、压缩比高达 3~10x。本文从 spark.read.parquet() 的三种数据源、Parquet 阅读全文

摘要： 摘要：RDD 和 Dataset 是 Spark 两大核心抽象，它们之间的互操作是连接"低级 API"与"高级 API"的桥梁。本文从 6 条转换路径、Encoder 底层序列化/反序列化机制（InternalRow-Row-CaseClass）、ExpressionEncoder 表达式树、spa 阅读全文

摘要： 摘要：JSON 是数据工程中最常见的半结构化格式，如何高效地将 JSON 转为类型安全的 Dataset[CaseClass]？本文从 spark.read.json() 的三种数据源、Schema 推断 vs 手动指定的优劣对比、嵌套 JSON 的三种展平模式（Dot Notation / exp 阅读全文

摘要： 摘要：SparkSQL 作为 Apache Spark 生态中最核心的模块之一，不仅提供了统一的 SQL 查询入口，更承载了 DataFrame/Dataset API 的全部执行能力。本文从数据源接入机制入手，深入 Catalyst 优化器四阶段流水线、WholeStageCodegen 代码生成 阅读全文

摘要： 摘要：从 RDD 到 DataFrame 再到 DataSet，Spark 的 API 经历了三次重大进化。DataFrame = DataSet[Row]（有 Schema 但无类型），DataSet[T] = RDD 的类型安全 + DataFrame 的 Catalyst 优化。本文从三层 A 阅读全文

摘要： 摘要：从 2012 年的 Shark 到 2020 年的 Adaptive Query Execution，SparkSQL 走过了一条从"Hive on Spark"到"世界级 SQL 引擎"的进化之路。本文沿时间线追溯 Shark→SchemaRDD→DataFrame→Dataset→AQE 阅读全文

摘要： 摘要：Spark 内存管理是性能调优的核心战场——理解 UnifiedMemoryManager 的 Execution/Storage 动态借用机制、Tungsten 页式分配、Off-Heap 与 On-Heap 的权衡、以及 acquire → evict → spill 的分配溢出流程，是避 阅读全文

摘要： 摘要：Reduce Task 如何找到成百上千个 Map Task 输出的 Shuffle 文件？如何精准定位到目标分区的数据块？本文从 MapOutputTracker 全局注册表、MapStatus 元数据结构、IndexShuffleBlockResolver 的 Index→Data 解析链 阅读全文

摘要： 摘要：BypassMergeSortShuffle 是 SortShuffleManager 提供的最轻量 Shuffle Write 路径——它绕过排序、绕过聚合，直接为每个分区写独立文件最后合并，省去了 ExternalSorter 的全部开销。本文从触发条件、分区直写流程、Index File 阅读全文