摘要: flink版本1.14.6 在通过./bin/flink run-application -t yarn-application 模式提交到yarn时失败。 报错信息: 点击查看代码 Caused by: java.lang.ClassCastException: cannot assign ins 阅读全文
posted @ 2024-07-04 15:39 A1340399426 阅读(225) 评论(0) 推荐(0)
摘要: ![](https://img2024.cnblogs.com/blog/1438429/202406/1438429-20240621175745889-2086218354.png) 阅读全文
posted @ 2024-06-21 17:58 A1340399426 阅读(7) 评论(0) 推荐(0)
摘要: 样例数据 点击查看代码 insert overwrite table test.ysj_lianxu_not select 'a', 't1' union all select 'a', 't2' union all select 'a', 't3' union all select 'b', 't 阅读全文
posted @ 2024-06-20 20:40 A1340399426 阅读(37) 评论(0) 推荐(0)
摘要: Flink是间断性(punctuate)或者周期性(periodic)生成水位线的 1. 定义和用途 * punctuate:为每条消息都尝试生成watermark,这提供了更细粒度的控制,但增加了不必要的计算开销 * periodic:周期性的生成watermark,可以通过env.getConf 阅读全文
posted @ 2024-06-20 19:59 A1340399426 阅读(239) 评论(0) 推荐(0)
摘要: 如果数据是有序的,即数据完全按照时间发生的顺序到达,那么在flink中,虽然理论上不需要额外的Watermark策略来标识数据的有序性,但使用forMonotonousTimestamps策略仍然有其必要性。以下是详细解释: 水位的作用 即使数据完全有序,flink的窗口计算仍然需要watermar 阅读全文
posted @ 2024-06-20 17:04 A1340399426 阅读(102) 评论(0) 推荐(0)