摘要：
1. 简介 The Upsert Kafka connector allows for reading data from and writing data into Kafka topics in the upsert fashion. Upsert Kafka 连接器允许以 upsert 方式从 阅读全文
posted @ 2022-01-24 20:20
钱塘江畔
阅读(1280)
评论(0)
推荐(0)
摘要：
1. 背景 对于实时更新的维表，以什么组件来处理作为FlinkSQL的source维表？HBase?Kafka?或mysql？哪一种方案能得到正确结果？ 且需要考虑到事实表和维表关联的时候，是否需要和维表的历史版本关联？还是只关联维表的最新版本？ 下文以只关联维表的最新版本为目标进行测试。 2. 实 阅读全文
posted @ 2022-01-24 20:09
钱塘江畔
阅读(3228)
评论(0)
推荐(0)
摘要：
两个概念 处理时间：流处理算子所在机器的本地时间。 事件时间：数据流中事件发生的实际时间，一般是附加在数据流中事件的时间戳。 watermark -- 事件时间窗口的触发时机 实际生产中，事件不可避免会产生延迟，如何判断某一时间点之前的事件都已接收到，从而触发流处理算子工作？Flink提供了水位线机 阅读全文
posted @ 2022-01-24 18:49
钱塘江畔
阅读(137)
评论(0)
推荐(0)
摘要：
1. 背景 在FlinkSQL关联时，必然会涉及到维表，维表又可能是不断变化的（aka 时态表 或 版本表）。 版本表: 如果时态表中的记录可以追踪和并访问它的历史版本，这种表我们称之为版本表，来自数据库的 changelog 可以定义成版本表。 普通表: 如果时态表中的记录仅仅可以追踪并和它的最新 阅读全文
posted @ 2022-01-24 17:54
钱塘江畔
阅读(523)
评论(0)
推荐(0)
摘要：
1. 背景 对FlinkSQL的聚合运算实践后select .. count(*) .. where .. group by ..，再对join关联做一些实践。 2. 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.get 阅读全文
posted @ 2022-01-24 14:16
钱塘江畔
阅读(159)
评论(0)
推荐(0)
摘要：
1. 背景 在测试FlinkSQL时，遇到FOR SYSTEM_TIME AS OF语法，研究下。 FOR SYSTEM_TIME AS OF otime指的是在otime时间点有效的数据。 2. 实践过程 时态数据库测试选择了SQL-server2017 -- 创建 时态表 -- DBO是每个数据 阅读全文
posted @ 2022-01-24 14:08
钱塘江畔
阅读(2784)
评论(0)
推荐(0)
摘要：
timestamp(3) 表示秒后3位小数，注意最多为6位。 create table test_timestamp( t1 timestamp(3) default now(3), t2 timestamp(4) default now(4), t3 timestamp(5) default no 阅读全文
posted @ 2022-01-24 10:33
钱塘江畔
阅读(1099)
评论(0)
推荐(0)
浙公网安备 33010602011771号