摘要： 摘要 讲清 Flink Client 的完整职责：解析参数、执行用户 main()、把 StreamGraph 优化成 JobGraph、再提交给 JobManager 调度执行。覆盖三种客户端入口、Standalone/YARN/K8s 三种部署模式下 Client 的差异，并给出常用命令与五个真 阅读全文

摘要： 摘要：Embedding 本质是一个可学习的查表操作，语义是训练过程赋予的。本文用 4 张架构图讲透表示学习原理，给出词嵌入成立的四个技术前提，附 Spark/Python/Java 三端可运行代码，帮你从"调 API"升级到"懂原理、能选型、会落地"。 关键词：Embedding、词嵌入、表示学习 阅读全文

摘要： 前面三篇分别讲了有界/无界流、有状态计算、应用场景。这一篇把视角从「原理」拉回「写代码」：一个 Flink 作业到底是怎么把数据读进来、处理掉、再写出去的。不管什么业务，落到代码上都是同一套三段式结构——Source 读取 → Transform 转换 → Sink 写出——差异只在于数据源有界还是 阅读全文

摘要： 前两篇把 Flink 的底层机制拆开讲了：有界/无界流决定了算子的执行模型，有状态计算是精确一次语义的根基。但一个框架好不好用，最终要落到一个问题上：它到底适合拿来做什么，凭什么值得团队为它付学习成本。 这一篇换个视角，不谈内部实现，只谈 Flink 的「用武之地」和「过人之处」：它强在哪、能撑起哪 阅读全文

摘要： 上一篇讲了有界流与无界流，其中一个例子是「按类别统计每分钟订单金额」，用到了 sum 聚合。如果你真的把那段代码跑起来，会看到每来一条记录，输出金额就往上累加一点。问题来了：累加的中间值存在哪？作业重启之后，它是从零重算，还是接着上次的继续？ 答案是状态（State）。sum 这类聚合算子内部维护了 阅读全文

摘要： 在传统大数据架构中，批量计算与流式计算长期由两套独立引擎承载：批处理依赖 MapReduce/Spark 等离线引擎，流处理依赖 Storm/Spark Streaming/Flink 等实时引擎。这种分离导致同一套业务逻辑需要分别用两套 API 实现，语义难以对齐，运维成本成倍增加。 Apache 阅读全文

摘要： 摘要：Kafka 和 Spark Streaming 对接，两侧都有一堆参数，很多还会互相影响——拉取速率是两边一起管的，offset 也是两边一起管的，配置不对轻则吞吐上不去，重则丢数据或重复消费。这篇把两侧参数按职责拆开，重点讲四个会打架的地方（auto.commit、offset.reset、 阅读全文

摘要： 摘要：数据到达速度超过处理速度，就会堆积、OOM、延迟失控。反压（Backpressure）就是解决这个问题的——观察处理延迟，反过来动态调整拉取速度。这篇把反压背后的 PID 控制器原理讲清楚：P、I、D 三个参数各自起什么作用，反压是怎么闭环收敛的，以及它到底能解决什么、解决不了什么。 关键词： 阅读全文

摘要： 摘要：容错是流处理系统的底线——挂了能不能恢复、恢复后会不会丢数据或重复数据。这篇把 Spark Streaming 的容错拆成三个层面讲：数据容错（WAL 和 offset 自管理）、计算容错（RDD 血缘重算）、元数据容错（checkpoint），再对照 Receiver 和 Direct 两种 阅读全文

摘要： 摘要：Spark Streaming 的配置参数几十个，但真正需要你动手调的就那么几个，剩下的调错了反而添乱。这篇把参数按功能分六类，重点讲五个高频参数（blockInterval、反压、concurrentJobs、unpersist、stopGracefully）的默认值、什么时候该动、以及动了 阅读全文