2023年8月30日
HDFS Disk Balancer 介绍&使用
摘要： 一、介绍 一句话介绍：用于HDFS DataNode单节点内多个数据盘数据均衡。 官网介绍如下： Diskbalancer is a command line tool that distributes data evenly on all disks of a datanode. This too 阅读全文
posted @ 2023-08-30 17:56 magic_guan 阅读(547) 评论(0) 推荐(0)
2022年4月7日
HUDI-0.11.0 BUCKET index on Flink 新特性试用
摘要： 1.背景 在0.10.1版本下，用默认的index(FLINK_STATE)，在upsert的模式下，几十亿级别的数据更新会很消耗内存以及ckp时过长，因此切换到0.11.0的BUCKET索引； 仅对于当前环境：flink1.13.2 + hudi 0.11.0-(master 2022.04.11 阅读全文
posted @ 2022-04-07 21:03 magic_guan 阅读(1715) 评论(3) 推荐(0)
2020年9月23日
Kafka 常用命令
摘要： Kafka 常用命令 适用于kafka-2.4.0 注意，如下命令是在kafka/bin目录下执行，如果配置了环境变量，可直接使用命令：如 kafka-topics xxxx ## 1. 查看topic消费到的offset kafka-run-class.sh kafka.tools.GetOffs 阅读全文
posted @ 2020-09-23 18:14 magic_guan 阅读(155) 评论(0) 推荐(0)