摘要: 背景 Flink 版本 1.13.3,使用 native k8s 部署模式,原采用 HDFS 作为状态快照(Checkpoint、Savepoint)的存储地址,但是由于仅使用了其 HDFS 作为状态快照存储地址,且 Hadoop 框架较重,在 k8s 集群中占用大量资源,现考虑将其替换为更轻量级的 阅读全文
posted @ 2022-06-02 17:06 dhf123 阅读(316) 评论(0) 推荐(0)
摘要: Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存(Total Flink Memory)=框架堆内存+框架堆外内存+task堆内存+task堆外内存+网络缓冲内存+托管内存 进程内存(Total Process Memory)=F 阅读全文
posted @ 2022-06-02 17:01 dhf123 阅读(208) 评论(0) 推荐(0)
摘要: 我们将不描述如何增强Table API/SQL和DataStream的所有技术细节。目标是在弃用DataSet API的想法上达成共识。必须有后续的flip来描述我们所维护的api的必要更改。 阅读全文
posted @ 2022-06-02 16:56 dhf123 阅读(268) 评论(0) 推荐(0)
摘要: 背景 Flink 版本 1.13.3,使用 native k8s 部署模式,原采用 HDFS 作为状态快照(Checkpoint、Savepoint)的存储地址,但是由于仅使用了其 HDFS 作为状态快照存储地址,且 Hadoop 框架较重,在 k8s 集群中占用大量资源,现考虑将其替换为更轻量级的 阅读全文
posted @ 2022-01-16 14:26 dhf123 阅读(364) 评论(0) 推荐(0)
摘要: 什么是 Metrics 在 flink 任务运行的过程中,用户通常想知道任务运行的一些基本指标,比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过 flink metrics 这些指标都可以轻而易举地获取到,避免任务的运行处于黑盒状态,通过分析这些指标,可以更好的调整任务 阅读全文
posted @ 2021-11-20 16:26 dhf123 阅读(488) 评论(0) 推荐(0)