岚天逸见

Hudi表创建时HDFS上的变化

摘要： SparkSQL 建 Hudi 表语句： ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR 阅读全文

posted @ 2023-05-31 17:26 岚天逸见阅读(207) 评论(0) 推荐(0)

Hudi表类型和查询类型

摘要： ### 官方参考 [Table & Query Types](https://hudi.apache.org/cn/docs/next/table_types) ### 查询类型 * **快照查询（Snapshot Queries）** 查询最新的数据。 * **增量查询（Incremental Q 阅读全文

posted @ 2023-05-30 12:39 岚天逸见阅读(205) 评论(0) 推荐(0)

Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试

摘要：设置 Payload 为 OverwriteNonDefaultsWithLatestAvroPayload： ```sql set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonD 阅读全文

posted @ 2023-05-30 10:44 岚天逸见阅读(105) 评论(0) 推荐(0)

Python求前后第n个月函数

摘要：数据分析常用到： ```python # 求往后第 n 个月 # monthstr 格式：YYYY-MM # # print next_month("2023-05", 1) # 2023-06 # print next_month("2023-05", 6) # 2023-11 # print n 阅读全文

posted @ 2023-05-25 22:24 岚天逸见阅读(66) 评论(0) 推荐(0)

Hudi写语义保证

摘要： Hudi 为 Hadoop Upserts Deletes and Incrementals 的缩写，Incremental 即 Incremental pull，也就是增加拉取，是一种类似于消息队列的流式消费。单写保证 upsert 保证不重复。 insert 如果开启了去重（hoodie.da 阅读全文

posted @ 2023-05-19 09:32 岚天逸见阅读(76) 评论(0) 推荐(0)

Hudi - Could not create payload for class

摘要：设置错误的 payload： set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.PartialUpdateAvroPayloadX`; 在执行 insert 时报错： 2023-05-18 15:50: 阅读全文

posted @ 2023-05-18 16:11 岚天逸见阅读(363) 评论(0) 推荐(0)

flink之java.lang.NumberFormatException: For input string错误

摘要：场景：使用flink读取一张hudi表，将数据写入到另外一张hudi表。错误栈： java.lang.NumberFormatException: For input string: "test_table" at java.lang.NumberFormatException.forInput 阅读全文

posted @ 2023-05-17 15:58 岚天逸见阅读(273) 评论(0) 推荐(0)

FlinkSQL和SparkSQL区别

摘要：区别： FlinkSQL 的 insert 语句可只操作部分字段，而 SparkSQL 必须指定所有字段： spark-sql> create table t11 ( > ds BIGINT, > ts BIGINT, > pk BIGINT, > f0 BIGINT, > f1 BIGINT, > 阅读全文

posted @ 2023-05-16 16:51 岚天逸见阅读(178) 评论(0) 推荐(0)

Hudi的ro和rt表

摘要：建表后并不会产生 ro 和 rt 两个表： spark-sql> create table hudi_mor_tbl ( > id int, > name string, > price double, > ts bigint > ) using hudi > tblproperties ( > t 阅读全文

posted @ 2023-05-16 16:29 岚天逸见阅读(390) 评论(0) 推荐(0)

Hudi表数据重复原因

摘要：测试中，发现虽然显示设置为 upsert，且也按规范设置了 primaryKey、preCombineField，type 等，但查出的结果仍然存在重复。反复测试，重复的数据稳定为 2，且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同，但来自不同的 HDFS 文件。相关Issue 这个阅读全文

posted @ 2023-05-16 12:48 岚天逸见阅读(429) 评论(0) 推荐(0)