随笔分类 - 大数据
摘要:使用apache amoro + trino+minio搭建iceberg数据湖架构 以下是基于 Apache Amoro + Trino + MinIO 搭建 Iceberg 数据湖架构的核心步骤和关键配置: 架构组件角色 MinIO:提供兼容 S3 API 的云原生对象存储,作为 Iceb
阅读全文
摘要:Apache Paimon是一种湖格式,可以使用Flink和Spark构建实时湖屋架构,用于流式和批处理操作。Paimon创新性地将lake格式和LSM(日志结构合并树)结构相结合,将实时流式更新引入lake架构。 Paimon提供以下核心功能: *实时更新: *主键表支持写入大规模更新,具有很高的
阅读全文

浙公网安备 33010602011771号