Flink 消费Kafka的有趣现象:固定时间、固定数量的堆积
摘要:今天和同事遇到一个非常有趣的问题,在Kafka监控页面上可以看到该topic的消息会堆积到10万条左右,然后再很快的消费完毕归为0,然后又开始堆积到10万条左右,时间间隔都是3分钟。第一反应,反压? 但是反压的也太整齐了吧。看了一眼代码,哈哈,CheckPoint的时间间隔是3分钟,而且是Exact
阅读全文
flink源码笔记-待整理
摘要:入口类CliFrontend LinkedHashMap accessOrder default=false=insertion-order System.setOut 重定向输出流 getManiFest get main class -d detach模式, false 可以运行任务后无需再控制
阅读全文
collect for changing job
摘要:dark time teaching including interview questions Flink 1、flink的运行架构 ref:https://ververica.cn/developers/advanced-tutorial-1-analysis-of-the-core-mecha
阅读全文
flink metric checkpoints 平台化
摘要:flink平台化中,需要根据flink自身提供的restful api来获取作业checkpoints列表展示,以及根据checkpoint进行启动前的存在性校验。 restful api参考官网 https://ci.apache.org/projects/flink/flink-docs-rel
阅读全文
flink杂记
摘要:flink运行命令:./bin/flink run -c myflink.SocketWindowWordCount tmp/my-flink-project-0.1.jar 保存savepoint ./bin/flink savepoint 3be198ab34a38c524a7ee805cd08
阅读全文