岚天逸见

C++不同标准兼容性问题集

摘要： * **特化模板兼容性** 下列代码在 c++17 及之前都是可以的，但从 c++20 开始编译报语法错误： ```cpp // g++ -g -std=c++20 -o x x.cpp;./x #include #include template struct X { X(type t) { th 阅读全文

posted @ 2023-07-27 09:42 岚天逸见阅读(110) 评论(0) 推荐(0)

使用gcc-13.1.0编译安装thrift-0.18.1

摘要：执行 configure 生成 Makefile，排除掉不需要的语言支持和测试等： ```bash ./configure --prefix=/usr/local/thrift-0.18.1 --with-boost=/usr/local/boost --with-libevent=/usr/loc 阅读全文

posted @ 2023-07-25 17:07 岚天逸见阅读(108) 评论(0) 推荐(0)

一键编译和安装 gcc 脚本

摘要：直接执行即可，执行前需要确保机器上的 wget、gunzip、bunzip2、cmake 可用。一键编译和安装 gcc 脚本：[install_gcc_tool.sh](https://github.com/eyjian/libmooon/blob/master/shell/install_gcc 阅读全文

posted @ 2023-07-24 19:29 岚天逸见阅读(193) 评论(0) 推荐(0)

mpc库问题导致gcc编译失败

摘要：使用 mpc-1.3.0 编译 gcc-13.1.0，执行 gcc 的 configure 时遇到如下错误： ``` checking for the correct version of gmp.h... yes checking for the correct version of mpfr.h 阅读全文

posted @ 2023-07-24 15:24 岚天逸见阅读(541) 评论(0) 推荐(0)

librdkafka的rdk:broker-1线程cpu百分百问题分析

摘要：问题调用栈： ``` (gdb) bt #0 0x000000000068307c in rd_kafka_q_pop_serve (rkq=0x1ff31a0, timeout_ms=, version=version@entry=0, cb_type=cb_type@entry=RD_KAFKA 阅读全文

posted @ 2023-07-13 16:59 岚天逸见阅读(164) 评论(0) 推荐(0)

Hudi表创建时HDFS上的变化

摘要： SparkSQL 建 Hudi 表语句： ```sql CREATE TABLE t71 ( ds BIGINT, ut STRING, pk BIGINT, f0 BIGINT, f1 BIGINT, f2 BIGINT, f3 BIGINT, f4 BIGINT ) USING hudi PAR 阅读全文

posted @ 2023-05-31 17:26 岚天逸见阅读(204) 评论(0) 推荐(0)

Hudi表类型和查询类型

摘要： ### 官方参考 [Table & Query Types](https://hudi.apache.org/cn/docs/next/table_types) ### 查询类型 * **快照查询（Snapshot Queries）** 查询最新的数据。 * **增量查询（Incremental Q 阅读全文

posted @ 2023-05-30 12:39 岚天逸见阅读(200) 评论(0) 推荐(0)

Hudi的OverwriteNonDefaultsWithLatestAvroPayload效果测试

摘要：设置 Payload 为 OverwriteNonDefaultsWithLatestAvroPayload： ```sql set `hoodie.datasource.write.payload.class`=`org.apache.hudi.common.model.OverwriteNonD 阅读全文

posted @ 2023-05-30 10:44 岚天逸见阅读(104) 评论(0) 推荐(0)

Python求前后第n个月函数

摘要：数据分析常用到： ```python # 求往后第 n 个月 # monthstr 格式：YYYY-MM # # print next_month("2023-05", 1) # 2023-06 # print next_month("2023-05", 6) # 2023-11 # print n 阅读全文

posted @ 2023-05-25 22:24 岚天逸见阅读(63) 评论(0) 推荐(0)

Hudi写语义保证

摘要： Hudi 为 Hadoop Upserts Deletes and Incrementals 的缩写，Incremental 即 Incremental pull，也就是增加拉取，是一种类似于消息队列的流式消费。单写保证 upsert 保证不重复。 insert 如果开启了去重（hoodie.da 阅读全文

posted @ 2023-05-19 09:32 岚天逸见阅读(75) 评论(0) 推荐(0)