岚天逸见

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 78 下一页

2023年7月24日 #

一键编译和安装 gcc 脚本

摘要: 直接执行即可,执行前需要确保机器上的 wget、gunzip、bunzip2、cmake 可用。 一键编译和安装 gcc 脚本:[install_gcc_tool.sh](https://github.com/eyjian/libmooon/blob/master/shell/install_gcc 阅读全文

posted @ 2023-07-24 19:29 岚天逸见 阅读(184) 评论(0) 推荐(0)

mpc库问题导致gcc编译失败

摘要: 使用 mpc-1.3.0 编译 gcc-13.1.0,执行 gcc 的 configure 时遇到如下错误: ``` checking for the correct version of gmp.h... yes checking for the correct version of mpfr.h 阅读全文

posted @ 2023-07-24 15:24 岚天逸见 阅读(524) 评论(0) 推荐(0)

2023年7月13日 #

librdkafka的rdk:broker-1线程cpu百分百问题分析

摘要: 问题调用栈: ``` (gdb) bt #0 0x000000000068307c in rd_kafka_q_pop_serve (rkq=0x1ff31a0, timeout_ms=, version=version@entry=0, cb_type=cb_type@entry=RD_KAFKA 阅读全文

posted @ 2023-07-13 16:59 岚天逸见 阅读(148) 评论(0) 推荐(0)

2023年5月31日 #

Hudi表创建时HDFS上的变化

摘要: SparkSQL 建 Hudi 表语句: ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR 阅读全文

posted @ 2023-05-31 17:26 岚天逸见 阅读(194) 评论(0) 推荐(0)

2023年5月30日 #

Hudi表类型和查询类型

摘要: ### 官方参考 [Table & Query Types](https://hudi.apache.org/cn/docs/next/table_types) ### 查询类型 * **快照查询(Snapshot Queries)** 查询最新的数据。 * **增量查询(Incremental Q 阅读全文

posted @ 2023-05-30 12:39 岚天逸见 阅读(188) 评论(0) 推荐(0)

Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试

摘要: 设置 Payload 为 OverwriteNonDefaultsWithLatestAvroPayload: ```sql set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonD 阅读全文

posted @ 2023-05-30 10:44 岚天逸见 阅读(97) 评论(0) 推荐(0)

2023年5月25日 #

Python求前后第n个月函数

摘要: 数据分析常用到: ```python # 求往后第 n 个月 # monthstr 格式:YYYY-MM # # print next_month("2023-05", 1) # 2023-06 # print next_month("2023-05", 6) # 2023-11 # print n 阅读全文

posted @ 2023-05-25 22:24 岚天逸见 阅读(50) 评论(0) 推荐(0)

2023年5月19日 #

Hudi写语义保证

摘要: Hudi 为 Hadoop Upserts Deletes and Incrementals 的缩写,Incremental 即 Incremental pull,也就是增加拉取,是一种类似于消息队列的流式消费。 单写保证 upsert 保证不重复。 insert 如果开启了去重(hoodie.da 阅读全文

posted @ 2023-05-19 09:32 岚天逸见 阅读(68) 评论(0) 推荐(0)

2023年5月18日 #

Hudi - Could not create payload for class

摘要: 设置错误的 payload: set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.PartialUpdateAvroPayloadX`; 在执行 insert 时报错: 2023-05-18 15:50: 阅读全文

posted @ 2023-05-18 16:11 岚天逸见 阅读(340) 评论(0) 推荐(0)

2023年5月17日 #

flink之java.lang.NumberFormatException: For input string错误

摘要: 场景: 使用flink读取一张hudi表,将数据写入到另外一张hudi表。 错误栈: java.lang.NumberFormatException: For input string: "test_table" at java.lang.NumberFormatException.forInput 阅读全文

posted @ 2023-05-17 15:58 岚天逸见 阅读(251) 评论(0) 推荐(0)

上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 78 下一页

导航