2022年2月10日

lakefs sdk 使用

摘要： 因为lakefs 是基于openapi 开发的后端，所以提供sdk 是很简单的，同时官方的sdk就是基于代码生成的 构建sdk 官方提供了中央仓库里的，也可以自己构建 java 版本自己构建 cd clients/java mvn clean package install -Dmaven.test 阅读全文

posted @ 2022-02-10 19:04 荣锋亮 阅读(198) 评论(0) 推荐(0)

lakefs 组件

摘要： 参考图 组件 s3 gateway api 提供了s3 兼容的api，目前包含了s3 子集，并不是完整实现， https://docs.lakefs.io/reference/s3.html 了解具体兼容 openapi server 基于openapi 规范，实现的crud 操作，同时包含了分支， 阅读全文

posted @ 2022-02-10 19:02 荣锋亮 阅读(113) 评论(0) 推荐(0)

dremio 20.1 官方release note 提供了

摘要： 问题 18.x以及19.x 升级到20.1 问题，造成iceberg metadta 问题，解决方法使用ALTER PDS，刷新以及遗忘数据集的元数据 增强 添加了authorizer.auth.cache.expiration_ms 进行认证有效期的配置 issue 修复 rdbms 多表join 阅读全文

posted @ 2022-02-10 12:11 荣锋亮 阅读(59) 评论(0) 推荐(0)

使用minio 做为lakefs 的数据存储

摘要： lakefs 提供了专门的存储adapter，所以支持各类还是比较方便的，官方已经内置了不少存储适配 以下是简单的集成minio 环境准备 docker-compose文件 注意集成了dremio，dremio 添加了jprofiler扩展 version: '3' services: lakefs 阅读全文

posted @ 2022-02-10 11:59 荣锋亮 阅读(414) 评论(0) 推荐(0)

lakefs 源码构建

摘要： lakefs的构建实际上是比较简单的，直接使用make build 就可以，但是lakefs 的构建模式是值得学习的 构建命令 本地 make build 容器镜像 make build-docker 简单说明 lakefs 使用了代码生成，静态资源嵌入，vite ，make 脚本写的并不是很难 代 阅读全文

posted @ 2022-02-10 00:34 荣锋亮 阅读(126) 评论(0) 推荐(0)

导航