摘要： 摘要：DStream 是 Spark Streaming 的核心抽象，但很多人用了很久也没搞清楚它到底是什么。这篇把 DStream 拆开——它本质是"RDD 的时间序列"，本身不存数据；讲清它内部的 DStreamGraph、Lineage 血缘，以及 getOrCompute 怎么按时间点把 D 阅读全文

摘要： 摘要：做实时计算，最先要搞明白的是数据怎么进来的。这篇讲清 Spark Streaming 的 Receiver 接收链路——数据从 Kafka/Socket 进来，经 BlockGenerator 切成 Block 落进 BlockManager，再按 batch 打包成 RDD；顺带说清楚 ba 阅读全文

摘要： 摘要：离线数仓里，"每个类目销售额前三的商品""用户最长连续登录天数""环比增长率"这类需求，用 groupBy 往往要写多层自连接。窗口函数一条 SQL 就能解决。这篇文章梳理 over 子句的窗口规范，用六个真实场景把 ROW_NUMBER、LAG、SUM/AVG OVER 的写法和坑讲清楚。 阅读全文

摘要： SparkSQL 之 DataSet 存储代码实现 摘要：DataFrameWriter 提供了统一的写出 API。本文从 6 步流水线、SaveMode 四模式、partitionBy/bucketBy、四大格式对比、saveAsTable/insertInto、文件数控制六个维度，配合 2 张架 阅读全文

摘要： 摘要：本文从 UDF/UDAF/UDTF 三大函数类型、两种注册方式、弱类型 vs 强类型 UDAF、Aggregator 生命周期、性能陷阱五个维度，配合 2 张架构图 + 完整代码，彻底掌握 SparkSQL 自定义函数实现。 关键词：UDF, UDAF, UDTF, Aggregator, f 阅读全文

摘要： 面向 Java 程序员 / 后端工程师 / 技术负责人 / AI 转型人员 一、为什么今天要讲 FDE？ 2024 年以来，大模型已经从聊天工具进入了企业生产系统。公司不缺模型 API、不缺开源框架，也不缺炫酷的 Demo。真正稀缺的是：理解业务现场，并能把 AI 做进流程的人。 你有没有发现这样一 阅读全文

摘要： 文章摘要 本文系统阐述了如何利用AI与自动化技术构建企业级智能工作流，覆盖智能客服、电商库存同步、财务自动化、内容营销、知识管理等十大核心场景。面向技术决策者、架构师和开发者，文章提供了从业务痛点分析、技术方案设计到具体代码实现的完整路径。关键结论表明，通过合理的技术选型与系统集成，企业可将重复性工 阅读全文

摘要： 摘要：Spark on Hive 与 Hive on Spark 常被混淆——前者 Spark 是主角访问 Hive 元数据，后者 Hive 用 Spark 作执行引擎。本文从 enableHiveSupport() 启动流程、HiveExternalCatalog、Metastore 集成、Ser 阅读全文

摘要： 摘要：Hive on Spark 让传统 Hive 数仓跑在 Spark 引擎上。本文从 RSC 远程作业提交机制、HQL 编译 6 步、MR/Tez/Spark 三引擎对比、完整配置清单四个维度，配合 2 张架构图，彻底解析 Hive on Spark 原理。 关键词：Hive on Spark, 阅读全文

摘要： 摘要：本文从 Spark 三层序列化体系（Task Closure / Shuffle Wire / Dataset Internal）、四种序列化路径差异、Encoder vs Kryo vs Java Serializer 性能对比、NotSerializableException 五种解决方案 阅读全文