2022年6月2日
Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS
摘要： 背景 Flink 版本 1.13.3，使用 native k8s 部署模式，原采用 HDFS 作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其 HDFS 作为状态快照存储地址，且 Hadoop 框架较重，在 k8s 集群中占用大量资源，现考虑将其替换为更轻量级的 阅读全文
posted @ 2022-06-02 17:06 dhf123 阅读(316) 评论(0) 推荐(0)
Flink内存模型
摘要： Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存（Total Flink Memory）=框架堆内存+框架堆外内存+task堆内存+task堆外内存+网络缓冲内存+托管内存 进程内存（Total Process Memory）=F 阅读全文
posted @ 2022-06-02 17:01 dhf123 阅读(208) 评论(0) 推荐(0)
Flink整合面向用户的数据流SDKs/API(Flink关于弃用Dataset API的论述)
摘要： 我们将不描述如何增强Table API/SQL和DataStream的所有技术细节。目标是在弃用DataSet API的想法上达成共识。必须有后续的flip来描述我们所维护的api的必要更改。 阅读全文
posted @ 2022-06-02 16:56 dhf123 阅读(268) 评论(0) 推荐(0)
2022年1月16日
Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS
摘要： 背景 Flink 版本 1.13.3，使用 native k8s 部署模式，原采用 HDFS 作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其 HDFS 作为状态快照存储地址，且 Hadoop 框架较重，在 k8s 集群中占用大量资源，现考虑将其替换为更轻量级的 阅读全文
posted @ 2022-01-16 14:26 dhf123 阅读(364) 评论(0) 推荐(0)
2021年11月20日
Flink中如何实现一个自定义MetricReporter
摘要： 什么是 Metrics 在 flink 任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过 flink metrics 这些指标都可以轻而易举地获取到，避免任务的运行处于黑盒状态，通过分析这些指标，可以更好的调整任务 阅读全文
posted @ 2021-11-20 16:26 dhf123 阅读(488) 评论(0) 推荐(0)