Debezium系列之:Flink SQL消费Debezium数据,只消费新增数据,过滤掉更新、删除材料
一、需求背景
- 消费debezium采集数据生成的表级别topic,源表有增删改场景,需求是只消费新增数据,过滤掉更新、删除数据,只把新增数据同步到下游mysql表或者iceberg表
二、Flink SQL创建Kafka源表
一个Flink SQL创建Kafka源表的语句,用于从Kafka主题中消费数据并进行实时处理。就是这
CREATE TABLE soure_kafka1 (
payload string,
op AS JSON_VALUE(payload, '$.op'),