随笔分类 -  Flink

Flink框架相关
FlinkCDC读取MysqlBinlog日志出现的问题和解决
摘要：1.时区问题 2.MysqlSource并行度问题 阅读全文
posted @ 2023-06-16 17:47 超级无敌小剑 阅读(498) 评论(0) 推荐(0)
Flink提交任务命令整理
摘要：环境: Flink 1.13.6和Flink 1.14.4 1.yarn-session模式 --启动yarn seeion bin/yarn-session.sh \ -s 8 \ -jm 4g \ -tm 16g \ -nm yarn-session-flink \ -d yarn-sessio 阅读全文
posted @ 2023-06-16 17:30 超级无敌小剑 阅读(3386) 评论(0) 推荐(0)
Flink1.13.6 部署踩坑记录
摘要：环境 Hadoop集群是Ambari2.7.5的版本 Flink是1.13.6_2.12的版本 问题记录 1.缺少jar包 报错：ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flin 阅读全文
posted @ 2023-06-15 18:07 超级无敌小剑 阅读(1310) 评论(0) 推荐(0)
FlinkCDC使用MysqlGTids进行消费的示例
摘要：一般来说读取Mysql的binlog的时候通过 startupOptions(StartupOptions.specificOffset("mysql-bin.000003", 4L) // 从指定 binlog 文件名和位置启动就足够了,但是对于Mysql设置了主从库或者是说业务库发生故障,切从库 阅读全文
posted @ 2023-03-24 10:20 超级无敌小剑 阅读(919) 评论(0) 推荐(0)
FlinkCDC
摘要：1.CDC工具的种类 CDC主要分为基于查询和基于Binlog两种方式，这两种之间的区别： 基于查询的CDC 基于Binlog的CDC 开源产品 Sqoop、Kafka JDBC Source Canal、Maxwell、Debezium 执行模式 Batch Streaming 是否可以捕获所有数 阅读全文
posted @ 2021-09-21 16:35 超级无敌小剑 阅读(7835) 评论(0) 推荐(1)