随笔分类 - 21-12
摘要:数据来源:https://blog.csdn.net/zhaocuit/article/details/106588758 flink架构Job Managers(master):作业管理器,负责任务安排、协调检查点、协调故障恢复等Task Managers(worker):任务管理器,接收mast
阅读全文
摘要:资源来源:https://blog.csdn.net/u013939918/article/details/107068531/ namespace 维护每个subtask的状态 上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也就是说,如果一个task在
阅读全文
摘要:数据产生时是有序的,但是考虑到网络延迟,它们到达Flink时,有可能时乱序的,先发生的事件延时到达。为了解决事件延时到达(或者说减少延时数据对计算结果的影响),有了watermark机制。 watermark有个参数允许延迟时间,举例:窗口大小=10s,允许延迟时间=5s。 当事件时间>=10:08
阅读全文
摘要:来源:https://zhuanlan.zhihu.com/p/79526638 前言 为了保证程序的容错恢复以及程序启动时其状态恢复,几乎所有公司的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。为了使得用户更加理解这两点区别,本文结合 Flink 1.9 版本
阅读全文

浙公网安备 33010602011771号