[置顶] 使用minio + iceberg-rest + amoro+ + trino搭建iceberg数据湖架构
摘要： 该架构（MinIO + Iceberg REST Catalog + Amoro + Trino）的设计融合了现代数据湖的核心需求，旨在实现‌存储解耦、计算灵活、管理自动化及高性能查询‌的综合目标。 一、核心设计理念 存储与计算分离‌ ‌MinIO‌ 作为底层对象存储，提供高扩展、低成本的云原生存储 阅读全文
posted @ 2025-06-21 07:08 兰丰岐 阅读(948) 评论(0) 推荐(0)
2025年6月14日
使用apache amoro + trino+minio搭建iceberg数据湖架构
摘要： 使用apache amoro + trino+minio搭建iceberg数据湖架构 以下是基于 Apache Amoro + Trino + MinIO 搭建 Iceberg 数据湖架构的核心步骤和关键配置： 架构组件角色‌ ‌MinIO‌：提供兼容 S3 API 的云原生对象存储，作为 Iceb 阅读全文
posted @ 2025-06-14 20:19 兰丰岐 阅读(519) 评论(0) 推荐(1)
2024年8月31日
apache flink + Paimon  快速搭建指南
摘要： Apache Paimon是一种湖格式，可以使用Flink和Spark构建实时湖屋架构，用于流式和批处理操作。Paimon创新性地将lake格式和LSM（日志结构合并树）结构相结合，将实时流式更新引入lake架构。 Paimon提供以下核心功能： *实时更新： *主键表支持写入大规模更新，具有很高的 阅读全文
posted @ 2024-08-31 12:26 兰丰岐 阅读(3058) 评论(4) 推荐(0)
2024年8月18日
flink + iceberg 快速搭建指南
摘要： flink + iceberg 快速搭建 the environment includes: minio iceberg flink Centos 更换 tencent 的yum源 备份系统旧配置文件 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.rep 阅读全文
posted @ 2024-08-18 14:46 兰丰岐 阅读(1104) 评论(1) 推荐(1)
2023年8月12日
apche doris 2.0.0 Linux环境下一键安装部署脚本
摘要： 1 #!/bin/bash 2 # doris部署环境要求： 3 #（1）一台或多台机器，操作系统CentOS 7.x-86_x64 4 #（2）硬件配置：内存4G+，CPU 2核+； 5 #（3）集群内各个机器之间能相互通信； 6 #（4）集群内各个机器可以访问外网，需要拉取文件； 7 #（5）提 阅读全文
posted @ 2023-08-12 16:15 兰丰岐 阅读(1215) 评论(0) 推荐(1)