岚天逸见

Hudi的Flink配置项（1）

摘要：名词 FallbackKeys 备选 keys，可理解为别名，当指定的 key 不存在是，则找备选 keys，在这里指配置项的名字。相关源码 FlinkOptions // https://github.com/apache/hudi/blob/master/hudi-flink-datasour 阅读全文

posted @ 2023-05-09 15:43 岚天逸见阅读(143) 评论(0) 推荐(0)

Hudi学习笔记5 - Hudi配置分析（1）

摘要： Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.fiel 阅读全文

posted @ 2023-05-08 15:49 岚天逸见阅读(330) 评论(0) 推荐(0)

Hudi学习笔记4 - Hudi配置之Spark配置

摘要： Spark Datasource Configs 读配置 |配置项|是否必须|默认值|配置说明| |:-|:-|:-|:-| |as.of.instant|Y|N/A|0.9.0 版本新增，时间旅行查询从哪儿开始，有两种格式的值：yyyyMMddHHmmss 和 yyyy-MM-dd HH:mm:s 阅读全文

posted @ 2023-05-08 15:42 岚天逸见阅读(275) 评论(0) 推荐(0)

Hudi学习笔记2 - Hudi配置之FlinkSQL配置

摘要： Flink Sql Configs |配置项|是否必须|默认值|配置说明| |:-|:-|:-|:-| |path|Y|N/A|Hudi表的 base path，如果不存在会创建，否则应是一个已初始化成功的 hudi 表| |read.end-commit|Y|N/A|| |read.start-c 阅读全文

posted @ 2023-05-08 15:40 岚天逸见阅读(397) 评论(0) 推荐(0)

Hudi学习笔记2 - Hudi配置

摘要： https://hudi.apache.org/docs/configurations Hudi配置分类 Spark Datasource Configs Spark Datasource 的配置。 Flink Sql Configs Flink SQL source/sink connectors 阅读全文

posted @ 2023-05-06 17:03 岚天逸见阅读(174) 评论(2) 推荐(0)

Hudi学习笔记1

摘要：使用注意从 0.10.0 版本开始，primaryKey 为必须的，不再支持没有主键的表。 primaryKey、primaryKey 和 type 均大小写敏感。对于 MOR 类型的表，preCombineField 为必须的。当设置 primaryKey、primaryKey 或 type 阅读全文

posted @ 2023-05-06 12:42 岚天逸见阅读(601) 评论(1) 推荐(0)

upsert部分hudi表字段报错“Expected table’s schema”

摘要：当 insert into 一个 hudi 表时，如果只指定了部分字段，则运行时报错“Expected table’s schema”： java.sql.SQLException: java.util.concurrent.ExecutionException: java.lang.Runtime 阅读全文

posted @ 2023-04-27 21:36 岚天逸见阅读(124) 评论(0) 推荐(0)

Flink MySQL CDC 增量同步要求源表有主键

摘要：版本：2.2 如果源表没有主键，则运行时报错： 2023-03-13 21:28:25,244 INFO [679] [com.ververica.cdc.connectors.mysql.source.assigners.ChunkSplitter.generateSplits(ChunkSpli 阅读全文

posted @ 2023-03-14 09:39 岚天逸见阅读(893) 评论(0) 推荐(0)

Windows上Spotless的回车换行符问题

摘要：在 Windows 上执行命令“mvn clean package -DskipTests”编译时报如下错误，原因是 Windows 默认为“\r\n”。解决办法是在仓库的根目录下创建名为“.gitattributes”的文件，添加一行内容： * text eol=lf 也可只针对指定文件类型： * 阅读全文

posted @ 2023-03-07 09:45 岚天逸见阅读(334) 评论(0) 推荐(0)

flink-connector-mysql-cdc遇到db名包含点号

摘要：版本：2.2 结论：是个截至最新的 2.3 均一直未修复的 BUG CDC 过程 SHOW DATABASES -- 找到所有的库 -> SHOW FULL TABLES IN `$DBNAME` where Table_Type = 'BASE TABLE' -- 找到库中的所有的表 -> 过滤出阅读全文

posted @ 2023-03-06 17:03 岚天逸见阅读(643) 评论(0) 推荐(0)