摘要：属于社区有人的一个提问，实际上dremio 支持对于nessie source 特定branch 的 table 的创建，而且源码也有信息，只是官方文档缺少说明 branch创建表参考测试 一个简单sql CREATE table dbtv4.myappv5 AT BRANCH prod as se 阅读全文

摘要：就在今天dremio 提供了25.0.5 社区版的下载地址，但是目前docker 镜像暂时还没提供，以下是基于eclipse-temurin:11.0.23_9-jdk 基础镜像 的一个可用镜像 Dockerfile FROM eclipse-temurin:11.0.23_9-jdk LABEL 阅读全文

摘要：就在昨天dremio 提供了社区版的下载地址,此版本的变动核心是一些fix，新功能并不多 说明 目前源码暂时还没push 到github,同时docker 镜像也暂时未提供，后边体验下 参考资料 https://docs.dremio.com/current/release-notes/versio 阅读全文

摘要：polaris-catalog是snowflake 即将开源的apache iceberg catalog 服务，实现上基于了iceberg 的rest api，这样就可以实现多引擎的数据处理，而不用进行数据的移动 参考多引擎集成 说明 从机制上也是支持dremio 的，但是因为databricks 阅读全文

摘要：使用过dremio 的基本都支持dremio 包含了一个队列的概念,以下简单说明下dremio 对于队列判断的处理 目前定义的队列类型 public enum QueueType { // TODO figure out split between capacities for below queu 阅读全文

摘要：对于FormatPlugin 我以前也零碎的介绍过一些，会和FormatCreator， FormatMatcher 存储插件等都有一些关系，核心主要还是对于 文件系统的格式处理，今天我在基于easy format 框架 自定义开发jsonline 格式化插件的时候发现目前dremio 对于支持的文 阅读全文

摘要：dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称 目前系统内部插件 目前包含了如下几个，可以通过启动日志看出来 系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

摘要：以前简单介绍过DatasetListingService，以下再说明下 创建 是通过DACDaemonModule 创建的 参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明 配置 核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

摘要：dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法 环境准备 docker-compose version: "3" services: n 阅读全文

摘要：对于dremio 分布式存储的配置我们直接修改配置文件，当然基于环境变量 参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

摘要：SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义 每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息 如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

摘要：dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

摘要：dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

摘要：AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法 类图 可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为 阅读全文