摘要：FormatMatcher 核心是对于文件系统进行进行格式匹配，方便查询以及执行引擎了解具体支持的数据格式，进行实际数据的处理 每个FormatPlugin 都需要包含一个格式化匹配器 参考类图 IcebergFormatMatcher 参考处理 参考iceberg table 格式 参考代码 /* 阅读全文

摘要：实际上以前官方包含了一些简单的介绍，但是后边似乎把相关的图删除了，但是官方还是提供了一个白皮书，里边包含了比较完整的介绍 参考架构 概览 总的包含了控制面板（dremio vpc 的能力）以及执行面板 （用户vpc），控制面板会包含权限，sql ，ui，rest api ，引擎管理，计划，job p 阅读全文

摘要：此插件来自singlestore官方的，基于了dremio 23.1 版本开发 conf 配置类 @SourceType(value = "SINGLESTOREARP", label = "SingleStore", uiConfig = "singlestore-layout.json", ex 阅读全文

摘要：dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的， 整体区别 系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件 用户自己开发的主要是通过web ui 或者api 初始化以及维护的 用户以及系统存储配置的可配置性不一样，系统不 阅读全文

摘要：PrivilegeCatalog 实际是一个权限检查的能力,同时dremio 的StoragePlugin 也提供了一个安全check 能力 StoragePlugin安全检查 boolean hasAccessPermission(String user, NamespaceKey key, Da 阅读全文

摘要：SourceCatalog 主要进行source 的管理，包含了获取信息，创建，更新，删除，包含了不同的实现 SourceCatalog 服务定义 /** * Interface to perform actions on sources. */ // PrivilegeCatalog 可以实现权限 阅读全文

摘要：ManagedStoragePlugin 从字面意思可以看出就是托管存储插件，从目前官方的设计来说就是将 自己开发的存储扩展，包装为dremio 可以管理的插件（统一模型以及统一处理） ManagedStoragePlugin 提供的能力 数据源信息维护，插件会包含一个关联的数据源 元数据策略 数据 阅读全文

摘要：我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务 实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力 核心提供的能力 主要是包装DatasetSaver 处理元数据的保存 阅读全文

摘要：datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ） 实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点 阅读全文

摘要：dremio 对于表函数的处理实际上还是基于了apcahe calcite ，只是对于dremio 来说，使用相对不是很多 目前dremio 比较多的就是外部查询，还有就是关于iceberg 的一些支持函数 参考使用 外部查询 SELECT b.customer_id, a.product_id, 阅读全文

摘要：当前支持物理操作 分布式操作 主要是通过网络的，包含以下操作 join 操作 聚合操作 排序以及分页 投影操作 过滤以及相关操作 集合操作 扫描操作 接受操作 发送操作 文件写操作 说明 drill 的一些官方文档对于学习dremio 还是很有用的，了解以上的一些物理操作器，可以更好的学习dremi 阅读全文

摘要：从dremio 运行系统摘录一些存储结构，方便了解dremio 分布式存储（主要以对象存储为主，当然nas 也是可以使用的） 部分，整体结构类似，但是文件夹名称可能会不要一样（反射内部的存储结构是一致的） 主要包含了反射，下载，上传，一致job 执行结果 ├── accelerator │ ├── 阅读全文

摘要：此处主要说明社区版dremio namspaceservice 包含的一个能力，我们如果自己扩展下就可以实现简单的部分权限管理 参加定义类图 如下如可以看出namspaceservice 提供的能力 一个额外的能力 接口定义 interface Factory { /** * Return a na 阅读全文

摘要：dremio 包含一个强大的功能就是反射加速，dremio 为了对于反射数据的存储开发了自己的文件系统插件 插件类图 parquet 以及iceberg 的支持 从start 入口可以看出包含了不同的处理，实际上dremio 从21 版本开始就默认基于了iceberg 存储了（同时也需要分布式存储） 阅读全文

摘要：ClassPathScanner 实际上是dremio 基于配置+约定的类扫描处理，为了性能同时使用了开源的reflections 工具包 约定 主要扫描包含以下约定key 的类或者包 /** Configuration pathname to list of names of packages t 阅读全文

摘要：格式化插件在dremio 中是比较核心的，包含了不少格式化插件，了解格式化插件的执行可以更好的开发自己的扩展以及了解dremio的内部机制 以下是基于arthas 分析的一个调用链可以参考 调用链 stack parquet format plugin stack com.dremio.exec.s 阅读全文

摘要：UserServer 目的是对于UserRPCServer 进行生命周期管理（基于netty 开发的）主要是处理非web 请求（实际上就是直接链接的服务） 从官方源码上UserServer 的创建只能在协调节点（当然候选节点也是可以执行rpc 服务的） 参考创建 DACDaemonModule if 阅读全文

摘要：dremio jdbc 客户端实际上包含了基本上两大类，一个是传统jdbc 的，一个是基于apache arrow flight sql jdbc 的 当前主要说明传统jdbc 客户端的，内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装，实际客户端的 链 阅读全文

摘要：实际上我以前简单说明过，下边包含一个官方文档完整的，方便参数学习 官方提供的参考配置 dremio-reference.conf include classpath("dremio-reference-ext.conf") paths: { # the local path for dremio t 阅读全文

摘要：ClassCompilerSelector 核心是基于配置的策略选择不同的类编译器，然后编译为字节数组 当前包含了基于jdk 的以及janino ClassCompiler实现类图 使用到的类 直接使用主要包含CodeCompiler以及QueryClassLoader，间接的包含了不少，主要是对于 阅读全文