岚天逸见

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 77 下一页

2023年5月16日 #

Hudi的ro和rt表

摘要: 建表后并不会产生 ro 和 rt 两个表: spark-sql> create table hudi_mor_tbl ( > id int, > name string, > price double, > ts bigint > ) using hudi > tblproperties ( > t 阅读全文

posted @ 2023-05-16 16:29 岚天逸见 阅读(360) 评论(0) 推荐(0)

Hudi表数据重复原因

摘要: 测试中,发现虽然显示设置为 upsert,且也按规范设置了 primaryKey、preCombineField,type 等,但查出的结果仍然存在重复。反复测试,重复的数据稳定为 2,且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同,但来自不同的 HDFS 文件。 相关Issue 这个 阅读全文

posted @ 2023-05-16 12:48 岚天逸见 阅读(398) 评论(0) 推荐(0)

正确DROP掉MOR类型的HUDI表

摘要: 假设有一张下面这样的 MOR 类型的 hudi 表: CREATE TABLE t_test_001 ( ds BIGINT COMMENT 'ds', ut BIGINT COMMENT 'ut', pk BIGINT COMMENT 'pk', a0 BIGINT COMMENT 'a0', a 阅读全文

posted @ 2023-05-16 09:22 岚天逸见 阅读(175) 评论(0) 推荐(0)

2023年5月11日 #

Flink MySQL CDC connector 使用注意事项

摘要: 注意事项 表要有主键 库名和表名不能有点号 是个 BUG,估计后续会修复。 表名不能有大写 也是个 BUG,估计后续会修复。 如果表名含有大写的字母,查询时日志可看到如下信息: java.util.concurrent.ExecutionException: java.io.FileNotFound 阅读全文

posted @ 2023-05-11 19:01 岚天逸见 阅读(96) 评论(0) 推荐(0)

parquet is not a Parquet file (length is too low: 0)

摘要: 当执行 SparkSQL 遇到这个错误时,可能是因为对应分区的数据全被删除了,变成了空分区,解决办法是删除该分区。 hdfs://warehouse/test.db/t_test/20230511/eaf5f003-5658-4b19-b706-ac487cebad7e-0_3-10-79_2023 阅读全文

posted @ 2023-05-11 11:37 岚天逸见 阅读(203) 评论(0) 推荐(0)

2023年5月10日 #

hudi的bucket.index相关配置

摘要: hudi的bucket.index相关配置的源码文件为 HoodieIndexConfig.java 。 通用配置 |配置项名|默认值|说明|引入版本| |:-|:-|:-|:-| |hoodie.index.type|默认值和引擎有关,Flink上默认值为FLINK_STATE,Spark上默认值 阅读全文

posted @ 2023-05-10 11:17 岚天逸见 阅读(271) 评论(0) 推荐(0)

Hudi的Index类型

摘要: Hudi 的索引是 hoodiekey 到文件组(File Group)或者文件 ID(File ID)的映射,hoodiekey 由 recordkey 和 partitionpath 两部分组成。 定义在文件 HoodieIndex.java 中。 分一下几种: |类型|说明| |:-|:-| 阅读全文

posted @ 2023-05-10 11:16 岚天逸见 阅读(155) 评论(0) 推荐(0)

Hudi的precombine.field释疑

摘要: 从不同资料,可看到四个让人迷惑的 precombine.field 配置项: precombine.field write.precombine.field hoodie.table.precombine.field hoodie.datasource.write.precombine.field 阅读全文

posted @ 2023-05-10 09:44 岚天逸见 阅读(300) 评论(0) 推荐(0)

2023年5月9日 #

Flink创建Hudi的Sink动态表

摘要: 工厂类 HoodieTableFactory 提供的创建动态表接口 createDynamicTableSource 和 createDynamicTableSink,对应的源码文件为:https://github.com/apache/hudi/blob/master/hudi-flink-dat 阅读全文

posted @ 2023-05-09 16:40 岚天逸见 阅读(235) 评论(0) 推荐(0)

Hudi的Flink配置项(1)

摘要: 名词 FallbackKeys 备选 keys,可理解为别名,当指定的 key 不存在是,则找备选 keys,在这里指配置项的名字。 相关源码 FlinkOptions // https://github.com/apache/hudi/blob/master/hudi-flink-datasour 阅读全文

posted @ 2023-05-09 15:43 岚天逸见 阅读(134) 评论(0) 推荐(0)

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 77 下一页

导航