摘要：
一、安装 1、root用户上传文件 cd wangrz -bey luoshu-1.0-bin.tar.gz 2、解压文件到服务目录 重新安装洛书需执行：rm -rf /usr/local/service/luoshu mkdir /usr/local/service/luoshu tar -zxf 阅读全文
posted @ 2024-04-22 10:45
Robots2
阅读(59)
评论(0)
推荐(0)
摘要：
一、背景 mysql数据入湖后，有同事需要实时抽取iceberg v2表，想通过iceberg做分钟级实时数仓。目前flink社区暂不支持读取v2表。腾讯内部支持 目前只能用Oceanus内置connector，支持flink1.13版本。需要读写时都用iceberg-1.1去处理，因为写入是定制i 阅读全文
posted @ 2024-04-19 16:47
Robots2
阅读(539)
评论(0)
推荐(0)
摘要：
一、数据打快照做数据比较 1、mysql创建快照 优点：可以选择时间做快照，然后对比 缺点：需要额外的存储空间和处理时间，不好自动化，大表做快照成本高 2、实现方式 create database 快照名称 on (name=数据库名称,filename='存放快照路径/文件名.ss' as sna 阅读全文
posted @ 2024-04-19 15:09
Robots2
阅读(128)
评论(0)
推荐(0)
摘要：
一、安装nodejs 1、下载自己系统的nodejs，我选择18.20版本 https://nodejs.cn/download/ 二、设置 1、设置镜像源： npm config set registry https://registry.npmmirror.com 2、在命令行中创建一个文件.n 阅读全文
posted @ 2024-04-18 22:46
Robots2
阅读(3092)
评论(0)
推荐(0)
摘要：
一、系统类 1、隐藏文件夹 打开控制台输入：chflags hidden [拖入需要隐藏的文件夹] 2、特定软件触控栏一直显示F1-F12 选择左上角苹果-》系统设置-》键盘-》 3、设置三指拖拽 4、安装brew /bin/zsh -c "$(curl -fsSL https://gitee.co 阅读全文
posted @ 2024-03-01 15:21
Robots2
阅读(40)
评论(0)
推荐(0)
摘要：
文章链接：https://www.cnblogs.com/liugp/p/16273966.html 阅读全文
posted @ 2024-01-17 18:27
Robots2
阅读(11)
评论(0)
推荐(0)
摘要：
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 阅读全文
posted @ 2024-01-02 10:34
Robots2
阅读(61)
评论(0)
推荐(0)
摘要：
总结 指标 清理前（已优化小文件） 清理后 查询速度 13秒 15秒（波动） 表总大小 26.4G 17.2G metadata目录文件数 75 42 data目录文件数 1501 602 ！！！需要先做小文件合并，然后再做过期快照比较好。 小文件合并：Iceberg小文件合并测试 一、清理任务资源 阅读全文
posted @ 2024-01-02 10:29
Robots2
阅读(554)
评论(0)
推荐(0)
摘要：
总结 指标 合并前 合并后（因测试中多次合并，数据会偏多） 查询速度 246秒 13秒 表总大小 9.2G 26.4G 单个文件大小 1-25MB 60MB左右 metadata目录文件数 37 75 data目录文件数 900 1501 小文件合并后历史版本数据不会自动清理，需要做快照清理 快照清 阅读全文
posted @ 2024-01-02 10:27
Robots2
阅读(1224)
评论(0)
推荐(0)
摘要：
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable 阅读全文
posted @ 2024-01-02 10:19
Robots2
阅读(480)
评论(0)
推荐(0)
浙公网安备 33010602011771号