会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
博客园
首页
新随笔
联系
订阅
管理
2026年9月16日
Flink基础之Source API详解及代码实战演练:从入门到自定义
摘要: 摘要 讲透 Flink Source API 的完整体系与实战用法:环境内置方法、KafkaSource / FileSource 等生产级 Connector、新 Source API 的 SourceReader 与 SplitEnumerator 架构、自定义 Source 的两种写法,附 4
阅读全文
posted @ 2026-09-16 08:16 starzy
阅读(3)
评论(0)
推荐(0)
2026年9月15日
Flink基础之Flink并行度和Slot深度剖析:资源到底怎么算
摘要: 摘要 讲透 Flink 并行度与 Slot 的完整机制:并行度与 Slot 的本质区别与映射关系、算子链与 Slot Sharing 如何决定资源需求、并行度四级配置优先级,以及资源规划三步法;并给出并行度调整的五个真实踩坑点。 关键词 Flink、并行度、Parallelism、Slot、Slot
阅读全文
posted @ 2026-09-15 13:47 starzy
阅读(5)
评论(0)
推荐(0)
Flink基础之Per-Job-Cluster原理详解:被 Application 取代的模式
摘要: 摘要 讲透 Flink on YARN 中 Per-Job 模式的完整原理:每作业一个临时集群的架构、两阶段启动与提交流程、main() 在本地 Client 执行的三个后果,以及它为何被 Application 模式取代的演进逻辑;并给出配置命令、老集群迁移要点与四个真实踩坑点。 关键词 Flin
阅读全文
posted @ 2026-09-15 08:16 starzy
阅读(5)
评论(0)
推荐(0)
2026年9月14日
Flink基础之Session-Cluster原理详解:共享集群的利与弊
摘要: 摘要 讲透 Flink Session Cluster 的完整原理:常驻共享集群的架构(Dispatcher + 共享 TaskManager 资源池)、yarn-session.sh 的启动流程、作业提交到 Session 集群的链路、共享 Slot 池的资源竞争机制,并给出 Session 与
阅读全文
posted @ 2026-09-14 13:18 starzy
阅读(5)
评论(0)
推荐(0)
Flink基础之Flink on Yarn原理详解:三种模式与提交流程
摘要: 摘要 讲透 Flink 跑在 YARN 上的完整原理:YARN 核心概念与 Flink 角色映射、Session/Per-Job/Application 三种运行模式的差异与选型、Application 模式下从上传 JAR 到 TaskManager 启动的完整提交流程、Container 与 S
阅读全文
posted @ 2026-09-14 08:20 starzy
阅读(7)
评论(0)
推荐(0)
2026年9月13日
Flink基础之TaskManager详解:真正干活的执行者
摘要: 摘要 讲清 TaskManager 的完整职责与内部结构:Slot 如何承载任务、Task 如何执行算子链、数据如何跨节点传输(序列化 → 网络缓冲 → Netty → 反序列化)、统一内存模型如何分配堆内堆外资源;并给出内存调优要点、故障恢复机制与四个真实踩坑点。 关键词 Flink、TaskMa
阅读全文
posted @ 2026-09-13 10:30 starzy
阅读(11)
评论(0)
推荐(0)
2026年9月12日
Flink基础之JobManager详解:集群的大脑如何调度作业
摘要: 摘要 讲清 JobManager 的完整职责与内部结构:Dispatcher 接收作业、JobMaster 调度 ExecutionGraph、ResourceManager 管理 Slot、Checkpoint 协调与故障恢复,以及 ZooKeeper/K8s 高可用架构;并给出关键配置与四个真实
阅读全文
posted @ 2026-09-12 08:23 starzy
阅读(10)
评论(0)
推荐(0)
2026年9月11日
Flink基础之Client客户端详解:作业是怎么交到集群手里的
摘要: 摘要 讲清 Flink Client 的完整职责:解析参数、执行用户 main()、把 StreamGraph 优化成 JobGraph、再提交给 JobManager 调度执行。覆盖三种客户端入口、Standalone/YARN/K8s 三种部署模式下 Client 的差异,并给出常用命令与五个真
阅读全文
posted @ 2026-09-11 14:21 starzy
阅读(10)
评论(0)
推荐(0)
讲透 Embedding 本质:从 one-hot 到表示学习,词嵌入的四个技术前提
摘要: 摘要:Embedding 本质是一个可学习的查表操作,语义是训练过程赋予的。本文用 4 张架构图讲透表示学习原理,给出词嵌入成立的四个技术前提,附 Spark/Python/Java 三端可运行代码,帮你从"调 API"升级到"懂原理、能选型、会落地"。 关键词:Embedding、词嵌入、表示学习
阅读全文
posted @ 2026-09-11 08:31 starzy
阅读(12)
评论(0)
推荐(0)
2026年9月10日
Flink基础之Flink批流数据读取处理案例剖析:从文件到 Kafka 的完整代码
摘要: 前面三篇分别讲了有界/无界流、有状态计算、应用场景。这一篇把视角从「原理」拉回「写代码」:一个 Flink 作业到底是怎么把数据读进来、处理掉、再写出去的。不管什么业务,落到代码上都是同一套三段式结构——Source 读取 → Transform 转换 → Sink 写出——差异只在于数据源有界还是
阅读全文
posted @ 2026-09-10 13:44 starzy
阅读(8)
评论(0)
推荐(0)
下一页
公告