摘要：我以前介绍过关于使用jprofiler（商业软件的）调用分析jprofiler 是比较强大的一个工具，对于简单来说 glowroot 也是可行的（opentelemetry 也是一个好选择），以下是关于dremio 集成glowroot的一个简单 说明 环境准备 基于docker-compose 运 阅读全文

摘要：实际上以前我也简单介绍过，以下主要是对于这些有一些整体的介绍 分布式存储 paths.dist 配置属性，包含了加速，表，job 结果，上传以及下载的数据，支持包含了共享存储（nas，hdfs，以及对象存储） 对于对象存储实际上还是hdfs，只是处理上配置不一样 paths: { ... dist: 阅读全文

摘要：此次发布，bug 修复不少，主要说明一些新特性 新特性 arrow flight sql 支持 公共子表达式排除（主要实现了复用） 原生向量copy 还是性能提升的 CTAS 支持iceberg 存储格式（目前测试有问题，可能是需要使用分布式存储配置，确定之后补充） 说明 官方的发布是没有直接区分社 阅读全文

摘要：个人猜测，应该是不利于后续的加速优化以及对于Iceberg 特性的支持 参考配置 配置来自helm paths: { # Local path for dremio to store data. local: ${DREMIO_HOME}"/data" # Distributed path Drem 阅读全文

摘要：CTAS 对于数据分片的变动是一个比较大的影响，尤其是已经使用过了数据分片的 说明 实际上经过测试似乎是兼容的，也有可能是我的20版本与21 版本差异的问题，或者dremio 实际存储的问题，或者就是问文件夹层级比较多的时候官方的发布的文档对于此介绍个人感觉比较难懂，而且经过测试效果并不是这样的 参 阅读全文

摘要：dremio 21.1 最近几天已经发布了，ui 变动不少，使用更加专业了，以下是一个简单的说明 支持script 保存 参考下图，script 保存是一个比较方便的能力，以前我们很多时候都是基于vds 处理的，此时就很方便了如果能支持基于文件夹的管理就更加方便了 函数功能界面调整 老版本帮助函数很 阅读全文

摘要：就在两天前dremio 发布了21.1 版本，ui 以及功能上有不少提升（后续详细介绍），而且docker 镜像以及tar 包都提供了对于arrow sql 以及支持是一个很不错的功能（这个后边很值得说说） 说明 新版本如果使用的话，会发现一个直接的bug，就是对于创建的view （vds） 可以保 阅读全文

摘要：主要是一个技术说明，后续开发相关的driver 原理 dremio 是支持obdc 访问的，odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询 参考处理 社区已经有了完整的实现node-odbc 我们可以使用来使用 参考demo dremio 的odbc 需要先安装， 阅读全文

摘要：Spillservice 的场景主要是处理sort ，hash agg 等一些操作，在需要使用本地文件cache的时候 类图 使用Spillservice 服务的模块 主要包含了SpillManager，IncomingBuffers，FragmentExecutor，OperatorContext 阅读全文

摘要：dremio 提供了一个空的默认RuleBasedEngineSelector 实现，主要实现基于规则的引擎选择 接口定义以及默认空实现 public interface RuleBasedEngineSelector { public String resolveAndUpdateEngine(R 阅读全文

摘要：maestro 英文翻译是大师，dremio 中的 maestro 主要进行服务的执行（提供一个执行抽象，实际具体执行是由command pool 操作的dremio 也还包含了一个独立的maestro 的rpc 定义（基于fabric 进行通信，主要包含了rpc 类型以及client方便kerne 阅读全文

摘要：内容来自 apache drill 学习手册 drill 的组件 drill 客户端，链接到foreman ，提交sql，接受返回的结果 forceman ，一个选择会话管理以及处理查询请求的drill 服务器，drill 的客户端会在drill 集群中随机选择一个driilbit 做为会话的for 阅读全文

摘要：resourcescheduler 是dremio 进行资源分配处理的包含了不少功能，默认dremio 社区版本是包含一个简单的调度，但是对于复杂的是需要企业版的，如果需要自己扩展就可以基于此模块 几个接口功能 RuleBasedEngineSelector 自定义基于规则的引擎查找,默认实现为nu 阅读全文

摘要：AttemptManager 属于dremio kernel部分的，主要用来管理对于一个查询的所有fragments（分段）（本地以及远程） 参考处理流程（内容来自官方说明） AttemptManager 做为一个runnable 提交（实际上内部使用了线程调度） runnable 执行查询计划 状 阅读全文

摘要：基本所有dremio 的存储扩展的配置管理都会使用此类 参考类图定 ConnectionConf 继承了AbstractConnectionConf 功能比较简单，主要是提供了获取类型，以及转换为字节字符串 获取类型部分使用了dremio 的注解（开发扩展会包含一个注解，设计还是比较巧妙的，简化了注 阅读全文

摘要：SourceMetadataManager 对于dremio 来说是一个比较重要的东西，它是包含在ManagedStoragePlugin中的一个能力 所以每个存储扩展都包含了一个SourceMetadataManager，而且ManagedStoragePlugin 会利用SourceMetada 阅读全文

摘要：反射是dremio 的一个特性（相比其他查询引擎强大的地方）以下简单说明下 内部简单处理说明 dremio 对于反射包含了自己的文件系统 （AccelerationFileSystem） dremio 的反射包含了自己的存储插件（AccelerationStoragePlugin） dremio 默 阅读全文

摘要：DatasetListingService 从功能上来说主要是处理dremio 集群节点访问datasets 的处理，默认基于namespace 的只能协调节点访问，CatalogService 就依赖DatasetListingService 简单介绍 实现类图 从定义以及子类上，可以看出，主要还 阅读全文

摘要：CatalogService 在dremio 中还是比较重要的，包含了source 以及storage 插件的通信处理，ManagedStoragePlugin 实际上是一个存储扩展的 包装，支持插件的状态管理，PluginsManager 主要进行存储扩展的管理，如果看过我以前写过的jdbc ar 阅读全文

摘要：dremio 包含了一套比较完备的配置处理，包含了注解以及接口定义，也包装为了一个bean 模块，各个系统可以方便的使用 同时对于配置也包含了类型校验处理 支持的配置类型 public enum OptionType { BOOT, SYSTEM, SESSION, QUERY } 参考实现类图 不 阅读全文