摘要：presto 集成lakefs 主要利用了hive connector 预备 需要hive metadata docker-compose version: "3" services: lakefs: image: "treeverse/lakefs:${VERSION:-latest}" port 阅读全文

摘要：问题 18.x以及19.x 升级到20.1 问题，造成iceberg metadta 问题，解决方法使用ALTER PDS，刷新以及遗忘数据集的元数据 增强 添加了authorizer.auth.cache.expiration_ms 进行认证有效期的配置 issue 修复 rdbms 多表join 阅读全文

摘要：lakefs 提供了专门的存储adapter，所以支持各类还是比较方便的，官方已经内置了不少存储适配 以下是简单的集成minio 环境准备 docker-compose文件 注意集成了dremio，dremio 添加了jprofiler扩展 version: '3' services: lakefs 阅读全文

摘要：就在2.8 号，官方发布了20.1 版本的，暂时还没看到relase note， 但是从代码大致看，主要是kernel 部分(ce 部分的插件代码官方没有开源)对于ce 部分（jdbc）暂时没看到其他的变动 说明 dremio 版本升级20.1 还是挺快，但是官方release note 有点太慢了 阅读全文

摘要：核心还是利用了lakefs 暴露s3 的特性，没多少技术难度，但是基于lakefs 支持git 的特性，我们可以更好的管理数据 环境准备 docker-compose version: '3' services: lakefs: image: "treeverse/lakefs:${VERSION: 阅读全文

摘要：记得去年的时候开发过一个cratedb 的arp 扩展，很粗糙，基本能用，但是很不好，以下是一个更加规范版本的，而且更好的集成官方的 test（关于dremio 测试的，我已经简单介绍过，很方便，而且比较友好） 改进版本的开发 核心部分 主要是关于自动元数据发现以及，数据查询的，以前版本为了方便查询 阅读全文

摘要：链接包含了两个，一个是社区的沟通，一个是官方问文档，官方文档是值得参考学习的社区沟通比较有参考意义，尤其是关于SourceTypeDescriptor的（我以前开发arp 扩展也是使用了此方法） 参考资料 https://community.dremio.com/t/arp-is-so-restri 阅读全文

摘要：dremio 默认官方使用的是maridb 的jdbc 驱动，在链接doris 以及starrocks 的时候是会有问题的当然链接singlestore也是有问题的 ，解决方法使用mysql 驱动进行替换，我已经开发了相关的arp目前也已经支持了20版本的，而且经过测试是可行，没有问题的(同时也合并 阅读全文

摘要：反向ETL 目前是一个和不错的领域，以下是自己基于一些工具集成参考构思的一个反向ETL 设计方案，具体编码还在规划中以下简单介绍下一些思路 参考图 简单说明 核心是利用了dremio 数据反射以及CTAS 能力（也支持drop），对于数据使用了快照的处理，直接存储在s3中，格式使用了基于时间分区的格 阅读全文

摘要：就在1.18 号官方终于发布了20 版本的社区版（19.3 也提供了）大家可以体验了 docker-compose 运行 version: '3' services: dremio: image: dremio/dremio-oss:20.0.0 ports: - "9047:9047" - "31 阅读全文

摘要：dremio 20 已经发布了，特性挺多，包含了安全的，性能提升的，以及功能增强以下主要说明一些对于私有部署比较有意义的 不兼容变动 logback.xml 的变动，审计日志影响比较大 新特性 审计日志（更加完善了，包含用户id，用户名，操作，sql，类型。。。。） NDV 拆分 目前数据预览特性， 阅读全文

摘要：dremio 包含了一个分布式存储的配置（默认使用本地存储），分布式存储在一些数据查询中是比较重要的比如iceberg 的支持 参考使用图 说明 我们基于juicefs 进行s3 的挂载处理，可以明显的提升s3 的性能，此处我们可以使用hdfs 或者直接挂载的模式 参考资料 https://docs 阅读全文

摘要：实际上我以前有写过类似的使用比较简单，以下明确说明下 参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi 阅读全文

摘要：主要是一个集成尝试参考图如下： 说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及 阅读全文

摘要：开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试） 因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题） 参考代码 核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb 阅读全文

摘要：主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献） 参考图 简单说明： 我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能 阅读全文

摘要：主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof 阅读全文

摘要：dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio 阅读全文

摘要：主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang 阅读全文

摘要：主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa 阅读全文