摘要： 上一篇讲了 Flink ApplicationMaster 的启动流程，AM 启动后会依次启动 ResourceManager、Dispatcher、REST 端点。这篇聚焦 ResourceManager——Flink 集群的资源管理中心。你有没有想过，RM 启动后内部依次初始化了哪些组件？Slo 阅读全文

摘要： 大数据技术实践者 | LangChain Agent 实战系列 · 17 一、十秒黑盒：Agent 体验的头号杀手 前面几篇把 Agent 的能力链路补齐了：提示词定人格、工具做事、结构化输出交付、异步扛并发。但还有一个体验问题始终悬着——慢。 一次典型的 Agent 运行，内部要走完"模型 → 工 阅读全文

摘要： 大数据技术实践者 | LangChain Agent 实战系列 · 19 上一篇讲了短期记忆的三要件，thread_id、checkpointer 与 state 容器各管什么。这一篇往下走一层，讲怎么用。挂载是三行代码的事，真正决定能不能上生产的是后面这几件事，数据库选型、字段扩展、事后修正、动态 阅读全文

摘要： 大数据技术实践者 | LangChain Agent 实战系列 · 18 一、同一个问题问两次，第二次就忘了 上一篇把流式输出打通了，Agent 总算能边想边说。可把它接进真实业务，很快撞上另一件事。用户第一句说"我叫张三"，第二句问"我叫什么"，模型客客气气地回一句"抱歉，我不知道你的名字"。 这 阅读全文

摘要： 在 YARN 上运行 Flink 作业时，你有没有想过，一条 flink run-application 命令背后，YARN 是如何分配容器、启动 ApplicationMaster 的？AM 进程启动后，Flink 内部又依次启动了哪些组件？Dispatcher、ResourceManager、J 阅读全文

摘要： 每个 Flink 开发者都在和配置打交道——flink-conf.yaml 里密密麻麻的参数，提交命令里的 -D 动态属性，代码里的 env.getConfig() 设置。但你真的理解 Flink 配置体系吗？五种配置来源的优先级是什么？GlobalConfiguration 是怎么加载配置的？Co 阅读全文

摘要： 每天都在用 flink run 提交作业，但你有没有想过，一条简单的提交命令背后，Flink 到底做了多少事情？从命令行参数解析，到用户 main 方法执行，再到 StreamGraph、JobGraph 的构建，最后通过 REST API 提交到集群，Dispatcher 启动 JobManage 阅读全文

摘要： 上一篇《Flink Actor源码深度剖析》讲了 Flink 中 Actor 模型的应用和 Akka RPC 框架的源码实现。但很多人看完后仍然有疑问：ActorSystem 内部到底是怎么管理 Actor 的？一条消息从发送到接收，底层经历了哪些步骤？Dispatcher 调度器是如何将 Acto 阅读全文

摘要： Flink 作为分布式流计算引擎，JobManager 和 TaskManager 之间的通信是整个系统的基石。很多人只知道 Flink 用 Akka 做 RPC，但很少有人深入源码去理解 Actor 模型在 Flink 中是如何落地的。这篇从 Actor 模型的基本概念讲起，深入 Flink 源码 阅读全文

摘要： 前面讲了 Flink CheckPoint 优化和内存优化，这两个都是单 TaskManager 内部的优化。但 Flink 是分布式计算引擎，数据需要在多个 TaskManager 之间传输——网络才是分布式计算的核心瓶颈。网络缓存配置不合理，会导致缓冲区不足作业启动失败、反压吞吐上不去、数据倾斜 阅读全文