随笔分类 -  大数据

摘要:使用apache amoro + trino+minio搭建iceberg数据湖架构 以下是基于 Apache Amoro + Trino + MinIO 搭建 Iceberg 数据湖架构的核心步骤和关键配置: 架构组件角色‌ ‌MinIO‌:提供兼容 S3 API 的云原生对象存储,作为 Iceb 阅读全文
posted @ 2025-06-14 20:19 兰丰岐 阅读(622) 评论(0) 推荐(1)
摘要:Apache Paimon是一种湖格式,可以使用Flink和Spark构建实时湖屋架构,用于流式和批处理操作。Paimon创新性地将lake格式和LSM(日志结构合并树)结构相结合,将实时流式更新引入lake架构。 Paimon提供以下核心功能: *实时更新: *主键表支持写入大规模更新,具有很高的 阅读全文
posted @ 2024-08-31 12:26 兰丰岐 阅读(3298) 评论(4) 推荐(0)