摘要：
1. 背景 在查询oracle数据表最近一次更新时间时查了些资料，做个总结 2. 闪回操作 alter table test_table enable row movement ; # 闪回 flashback table test_table to timestamp to_timestamp(' 阅读全文
posted @ 2022-01-26 10:36
钱塘江畔
阅读(296)
评论(0)
推荐(0)
摘要：
1. 背景 mysql从库同步告警 Slave_IO_Running: Yes Slave_SQL_Running: Yes Seconds_Behind_Master: 1655788 Slave_SQL_Running_State: Reading event from the relay lo 阅读全文
posted @ 2022-01-25 16:47
钱塘江畔
阅读(902)
评论(0)
推荐(0)
摘要：
1. 简介 The Upsert Kafka connector allows for reading data from and writing data into Kafka topics in the upsert fashion. Upsert Kafka 连接器允许以 upsert 方式从 阅读全文
posted @ 2022-01-24 20:20
钱塘江畔
阅读(1280)
评论(0)
推荐(0)
摘要：
1. 背景 对于实时更新的维表，以什么组件来处理作为FlinkSQL的source维表？HBase?Kafka?或mysql？哪一种方案能得到正确结果？ 且需要考虑到事实表和维表关联的时候，是否需要和维表的历史版本关联？还是只关联维表的最新版本？ 下文以只关联维表的最新版本为目标进行测试。 2. 实 阅读全文
posted @ 2022-01-24 20:09
钱塘江畔
阅读(3228)
评论(0)
推荐(0)
摘要：
两个概念 处理时间：流处理算子所在机器的本地时间。 事件时间：数据流中事件发生的实际时间，一般是附加在数据流中事件的时间戳。 watermark -- 事件时间窗口的触发时机 实际生产中，事件不可避免会产生延迟，如何判断某一时间点之前的事件都已接收到，从而触发流处理算子工作？Flink提供了水位线机 阅读全文
posted @ 2022-01-24 18:49
钱塘江畔
阅读(137)
评论(0)
推荐(0)
摘要：
1. 背景 在FlinkSQL关联时，必然会涉及到维表，维表又可能是不断变化的（aka 时态表 或 版本表）。 版本表: 如果时态表中的记录可以追踪和并访问它的历史版本，这种表我们称之为版本表，来自数据库的 changelog 可以定义成版本表。 普通表: 如果时态表中的记录仅仅可以追踪并和它的最新 阅读全文
posted @ 2022-01-24 17:54
钱塘江畔
阅读(523)
评论(0)
推荐(0)
摘要：
1. 背景 对FlinkSQL的聚合运算实践后select .. count(*) .. where .. group by ..，再对join关联做一些实践。 2. 代码 StreamExecutionEnvironment env = StreamExecutionEnvironment.get 阅读全文
posted @ 2022-01-24 14:16
钱塘江畔
阅读(159)
评论(0)
推荐(0)
摘要：
1. 背景 在测试FlinkSQL时，遇到FOR SYSTEM_TIME AS OF语法，研究下。 FOR SYSTEM_TIME AS OF otime指的是在otime时间点有效的数据。 2. 实践过程 时态数据库测试选择了SQL-server2017 -- 创建 时态表 -- DBO是每个数据 阅读全文
posted @ 2022-01-24 14:08
钱塘江畔
阅读(2782)
评论(0)
推荐(0)
摘要：
timestamp(3) 表示秒后3位小数，注意最多为6位。 create table test_timestamp( t1 timestamp(3) default now(3), t2 timestamp(4) default now(4), t3 timestamp(5) default no 阅读全文
posted @ 2022-01-24 10:33
钱塘江畔
阅读(1099)
评论(0)
推荐(0)
摘要：
1. 背景 FlinkSQL在各个大厂实践地火热，咱也不能落后，搞起。 2. join类型 - 来自官网 Flink SQL supports complex and flexible join operations over dynamic tables. There are several di 阅读全文
posted @ 2022-01-23 23:50
钱塘江畔
阅读(852)
评论(0)
推荐(0)
浙公网安备 33010602011771号