随笔分类 -  Flink

Flink任务写hdfs文件卡在openforwrite状态
摘要：环境 flink 1.6.3 hadoop 2.5.0 cdh5.2.0 问题描述 2019/04/24 10:26 业务方反馈 hive某个表查询数据不全，疑似上游的Flink任务处理数据有丢失 经过定位发现上游的flink任务写 /data/BaseData/flinksql/TCFlyIntB 阅读全文

posted @ 2019-05-09 20:51 AloneAli 阅读(6746) 评论(0) 推荐(1)

Flink Backpressure指标和机制
摘要：页面上反压指标意义 为了判断是否进行反压，jobmanager会每50ms触发100次stack traces。 Web界面中显示阻塞在内部方法调用的stacktraces占所有的百分比。 例如，0.01，代表着100次中有一次阻塞在内部调用。 • OK: 0 (a java.util.ArrayD 阅读全文

posted @ 2019-05-09 20:28 AloneAli 阅读(4023) 评论(1) 推荐(0)

导航