摘要：dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明 服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分 接口 @POST @Path("/autocompl 阅读全文

摘要：ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了） 调用部分 实 阅读全文

摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是 此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理 参考代码 public boolean createOrUpdateVi 阅读全文

摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下 参考执行图 阶段说明 参考上图，dremio将执行分为可4个阶段 客户端通过jdbc，odbc，rest 提交查询到协调节点 计划阶段 此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统 阅读全文

摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现 如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在 阅读全文

摘要：dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明 下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文

摘要：以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下 关于文件夹的 处理简单说明 对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理 代码 包含了一个快速以及默 阅读全文

摘要：dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式 基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理 能 阅读全文

摘要：dremio 不管是社区版或者企业版默认会包含一个sample的对象存储source，可以让我们直接体验dremio 的能力，以下是关于sample source 的一个简单说明 sample source 说明 是一个s3类型的source 里边的内容是dremio 使用的aws s3 的一个开放 阅读全文

摘要：dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同 整体简单处理 核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要 阅读全文

摘要：dremio自动提升支持自动将文件夹转换为一个列，同时可以实现数据的过滤查询，是一个很不错的功能，比如我们在一些数据归档类的应用中可以基于事件进行分区，之后通过自动提升可以方便的进行数据查询 效果 查询效果 debug 效果 内部处理 对于dremio 自动提升的处理我已经介绍过了，实际上核心是分区 阅读全文

摘要：dremio包含了一个元数据自动提升为物理数据集的功能，对于文件系统我们就不用进行格式提升了，dremio 就可以直接查询了，配置如下 当然此功能的前提是数据格式可以被自动发现（dremio 的easy foramt 能力），以下是一个内部处理的简单说明 一个参考调用链 stack com.drem 阅读全文

摘要：以前对于S3StoragePlugin 有过简单的说明，以下结合S3StoragePlugin 说明下如何开发一个存储扩展 一些标准模式 选择实现的存储插件的接口 比如s3的因为实际上就是文件系统，所以S3StoragePlugin 实现了FileSystemPlugin 接口的，同时可以复用不少已 阅读全文

摘要：以前简单介绍过dremio cloner 工具，以下是一个简单试用 dremio 环境准备 基于docker-compose，具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose 完成配置 安装dremio clon 阅读全文

摘要：dremio 的外部查询实际上就是让我们可以通过sql 直接查询source 而不是通过复杂的处理，可以解决一些sql 函数不能使用的问题 对于实现了SupportsExternalQuery 接口的存储扩展就可以实现此功能，比如jdbc 的（属于ce 扩展） 参考语法 SELECT * FROM 阅读全文

摘要：FileDatasetHandle 是DatasetHandle的扩展，核心是对于文件系统类的处理（dremio 对于文件系统的支持主要是基于hdfs）同时支持对于不同表格式的处理（delta lake，iceber，parquet），单独说明FileDatasetHandle主要是因为此实现比较重 阅读全文

摘要：native-lib-loader 可以方便native 库的查找，只要我们的c 库符合格式，基于native-lib-loader 就可以方便的进行包的加载 参考c 库 jar 格式 /natives /linux_32 libxxx[-vvv].so /linux_64 libxxx[-vvv] 阅读全文

摘要：可能有人注意到dremio 管理界面的统计信息为N/A ，而且因为web 端进行了一些额外显示处理，造成一些疑惑 界面效果 接口返回数据信息 目前从官方代码来说，此显示是正常的，因为计算的是百分比，而且当系统负载比较低的时候，结果基本就为0 web 处理 NodeActivityView.js 参考 阅读全文

摘要：DatasetHandle 主要是关于dataset handle 处理的，不同存储插件会有不同的具体实现，同时不同的表格式也会有不同的实现（iceberg，parquet） 功能简单介绍 主要是关于dataset如何处理的handle，实际的实现会包含一些上下文信息，当进行其他api 调用的时候 阅读全文

摘要：实际上dremio 的反射比较有意思，而且也比较强大，比如我们可以会想通过反射，当上游系统不可用的时候依然可以查询 但是实际效果并不是这样的 参考配置 如下 问题 The source [s3] is currently unavailable. Metadata is not accessible 阅读全文