Daft nessie rest catalog + dremio 集成

Daft 内部使用了pyiceberg 进行iceberg 的表操作,对于具体的catalog 都是pyiceberg 内部的能力,实际上我们可以直接集成nessie, 目前pyiceberg 对于rest catalog 支持的比较好,同时nessie 也支持rest catalog 了,以下是一个集成简单说明

参考集成图

如下图

简单说明

上图中,我们部署nessie,同时配置s3以及pg,对于Daft 以及dremio 使用nessie 的rest catalog,对于Daft 来说基于rest catalog,我们可以进行数据的读写处理,对于dremio 当前的catalog 只支持数据的读取(dremio 的配置需要指定s3 的key 信息,进行数据的读处理)

说明

以上是一个集成上的简单说明,后边说明下具体的代码以及配置

参考资料

https://py.iceberg.apache.org/configuration/#fileio

https://github.com/projectnessie/nessie/releases/tag/nessie-0.90.2

https://github.com/apache/iceberg-python/issues/540

posted on 2025-02-10 08:00  荣锋亮  阅读(40)  评论(0)    收藏  举报

导航