摘要: 一、介绍 一句话介绍:用于HDFS DataNode单节点内多个数据盘数据均衡。 官网介绍如下: Diskbalancer is a command line tool that distributes data evenly on all disks of a datanode. This too 阅读全文
posted @ 2023-08-30 17:56 magic_guan 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 1.背景 在0.10.1版本下,用默认的index(FLINK_STATE),在upsert的模式下,几十亿级别的数据更新会很消耗内存以及ckp时过长,因此切换到0.11.0的BUCKET索引; 仅对于当前环境:flink1.13.2 + hudi 0.11.0-(master 2022.04.11 阅读全文
posted @ 2022-04-07 21:03 magic_guan 阅读(1408) 评论(3) 推荐(0) 编辑
摘要: Kafka 常用命令 适用于kafka-2.4.0 注意,如下命令是在kafka/bin目录下执行,如果配置了环境变量,可直接使用命令:如 kafka-topics xxxx ## 1. 查看topic消费到的offset kafka-run-class.sh kafka.tools.GetOffs 阅读全文
posted @ 2020-09-23 18:14 magic_guan 阅读(128) 评论(0) 推荐(0) 编辑