随笔分类 -  FLINKCDC / 3.0

flink-cdc3.0官方网站
摘要：flink-cdc3.0官方网站 https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/introduction/ 查看相关技术知识 阅读全文
posted @ 2024-05-05 11:13 自在现实 阅读(2869) 评论(0) 推荐(0)
FLINKCDC3.0 datastream程序运行测试
摘要：1.编写程序本地运行正常 2.程序正常打包 3.提交作业到FLINK集群 ./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar 4.监控作业运行 作业正常运行，cud查看 task 阅读全文
posted @ 2024-05-05 08:50 自在现实 阅读(168) 评论(0) 推荐(0)
FLINKCDC 3.0整库同步MYSQL至DORIS（FLINK1.18）： 历程
摘要：大数据技术涉及组件较多，各个环境较DEMO又不尽相同，所以参照DEMO进行，任然很多报错信息出现。 如下报错处理，尽供参考： 1.创建同步配置文件 ############################################################################ 阅读全文
posted @ 2024-04-25 20:37 自在现实 阅读(2462) 评论(2) 推荐(0)
FLINK CDC 3.0 demo mysql 整库同步历程(3.sql cdc同步)
摘要：结论：FLINK CDC 3.0 在flink 1.17上，不支持mysql to doris 的 demo。 1.mysql开启binlog参考debizium(https://debezium.io/documentation/reference/2.5/connectors/mysql.htm 阅读全文
posted @ 2024-04-21 00:13 自在现实 阅读(1387) 评论(0) 推荐(0)