flink checkpoint

 

flink 的 checkpoint机制 提高了程序的可靠性

首先先了解下 checkpoint的一些设置参数

checkpointInterval --checkpoint的时间间隔,单位 milliseconds

checkpointingMode -- checkpoint的模式 exactly-once vs. at-least-once

checkpointTimeout -- checkpoint的超时时间

checkpoint Barrier 对齐 实现 exactly-once

 

由上面checkpoint处理流程可以看出,flink处理流的机制可以简单的分成

1.数据接收层(接收流数据) source

2.数据处理层(通过逻辑处理,将数据聚合成所需要的结果) handle-model

3.数据存储层(将处理的数据存储或者分发) sink

按照顺序流向,当发生checkpoint时,为了确保exactly-once,Barrier会将source到sink过程中数据缓存起来,当对齐完成后才完成checkpoint,确保此并发接收到的数据都处理完,再进行下一轮处理