摘要：以前简单说过基于代码修改开启test 的外部profile 能力，实际上官方是由配置参数的，可以在启动的时候添加到配置中 配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧 使用arthas 命令 使用了arthas的vmt 阅读全文

摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置 配置说明 对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本， 阅读全文

摘要：dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 阅读全文

摘要：dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 阅读全文

摘要：以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 阅读全文

摘要：以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 阅读全文

摘要：昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora 阅读全文

摘要：nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag 阅读全文

摘要：简单记录下碰到的一些问题 分析 arthas stack 查看调用 对于hive 是类似的，我测试的是mysql 的 stack com.mysql.cj.jdbc.result.ResultSetImpl getDate 效果 ffect(class count: 2 , method count 阅读全文

摘要：实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo 阅读全文

摘要：以前开发过一些简单的arp 扩展（核心还是修改的ce 版本的），dremio 发布24.3版本了，但是有不少调整，造成以前的不能使用了目前已经将以前开发的都更新了 my-dremio-mssql-connector 主要是解决中文乱码问题 cratedb-dremio-connector 支持链接c 阅读全文

摘要：dremio 24.3 社区版代码提供了，从官方文档来看，构建与以前不太一样了，以下是构建中一些问题说明 主要问题 jdk 需要同时包含jdk8 以及jdk11, maven 配置toolchains WARNING: Failed to export metrics.Server responde 阅读全文

摘要：好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了 参考图 解决方法 直接替换ui-lib jar 包 自己编译ui 阅读全文

摘要：dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动 参考对比 24.3.0 之前的 24.3.0 版本的 说明 对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下 参 阅读全文

摘要：24.3 版本对于bugfix 以及新功能都是不少的 一些比较方便的新功能 支持parquet v2 文件， 支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供 对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编 阅读全文

摘要：简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt 阅读全文

摘要：dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice 阅读全文

摘要：实际上术语来自dremio 的一篇博客，实际上官方也提供了如何创建自服务语义层的实践 博客中玩法的简单说明 官方的说明是参考如下流程 创建业务单元 基于文件夹的玩法 数据源集成以及视图创建 实际上就是基于数据源进行vds的处理 访问控制以及权限处理 用户数据管理以及data mesh 界面以及自动化 阅读全文

摘要：参考maven repo <repositories> <repository> <id>dremio-public</id> <url>http://maven.dremio.com/public/</url> </repository> <repository> <id>dremio-free< 阅读全文

摘要：就在这几天dremio 企业版24.2.6 发布了，这次社区版也同时提供了，速度比较快，核心还是一些bugfix 一些有意义的功能 sql 编辑器支持长时没有交互还能使用 多个oracle 的scan 操作可以并行了 说明 目前来看社区版代码还是没有提供,还得等等了,对于学习新功能的，可以通过反编译 阅读全文