摘要：dremio 包含不少context,而且好多context 是直接在dremio 整个执行生命周期的，比如SabotContext，QueryContext，BootStrapContext。。。。SabotContext 是一个比较重要的服务，具体的创建是由ContextService 初始化的 阅读全文

摘要：dremio 的内部执行实际上与drill 是比较类似的，只是dremio 做了不少的优化处理 一个调用流程说明 来自官方文档 参考调用链 实际执行管理的类 AttemptManager @Override public void run() { // rename the thread we're 阅读全文

摘要：dremio 在进行了一系列的sql 解析，sql 校验，逻辑计划、物理计划之后就需要实际的执行计划生成以及具体的数据处理了 ExecutionPlanCreator 的作用就是进行执行计划的生成，在dremio 中核心是fragment （包含了Major 以及Minor） 调用 参考如下，由 M 阅读全文

摘要：以前我简单说明实际上当时我只是说明了以下简单的思路，最近随着对于dremio 慢慢比较深入的学习，发现直接实现create user sq 似乎并不是一个比较方便的 原因 传入的参数是QueryContext，此上下文缺少UserService 的暴露 参考方法签名 public interface 阅读全文

摘要：dremio 属于一个比较复杂的系统，官方有不少模块，官方同时也包含了一个不错的单元测试可以基本了解查询的处理 从session到查询，到sql 解析，关系节点转换，逻辑计划器以及物理计划以及执行计划 参考代码 public class Limit0LogicalToPhysicalTest ext 阅读全文

摘要：dremio 以及apache calcite 使用到fmpp + javacc 进行代码生成处理，以下是一个简单的集成测试 fmpp 的作用 fmpp 实际上是包装了freemarker ，提供了cli 以及java api 可以方便的进行模版处理，目前apache calcite 就基于了fmp 阅读全文

摘要：实际上已经有几个 fmpp maven 插件，但是不是很好用，dremio 自己包装了一个，然后fork 了dremio fmpp 插件的代码独立包装了一些 同时发布到github repo 中，方便使用 参考代码 pom.xml <?xml version="1.0" encoding="UTF- 阅读全文

摘要：CommandPool 实际上是一个线程池的处理，官方实现了好几种线程池 主要作用 限制并行请求以以及job 的运行 定义优先级任务 特点 任务基于优先级以及提交时间进行自然排序 当线程空闲的是否任务会尽快的执行 在其他任务需要运行的是否，比较忙碌的线程必须先完成 CommandPool 的注册是由 阅读全文

摘要：CommandCreator 主要是基于不同业务规则进行conmandrunner 的生成，以下是一个简单说明 CommandCreator 的作用 基于request 创建包装的command 包装多种conmandrunner （基于用户请求类型，包装不同的commandrunner） 构建后变 阅读全文

摘要：dremio web server 基于了jersey实际包含了比较完备的配置支持（类似spring boot 强大的配置支持一样） 同时dremio 也包含了一些测试api 但是默认是关闭的，我们可以通过配置，或者修改代码打开，目前我基于 代码进行了修改 参考修改的代码 TestResources 阅读全文

摘要：通过几天的分析，大致可以确认dremio 23 的问题，应该是一个exception 引起的，以下是通过使用jpropfiler 发现的一个exception 信息 现象 参考图 说明 从上图可以看出是一个MatchFailed 的exception 引起的，但是目前没有影响业务，因为异常之后使用了 阅读全文

摘要：问题描述 实际上这个问题社区也有不少人反馈了，以前看社区问题的时候没太注意，最近有一个网友也问了类似的问题，在测试了之后发现的确是有问题 参考思路 此问题实际上影响还是比较大的，官方的一些答复是推荐可以配置日志，看看反射执行的流程 目前此问题似乎是查询优化器在处理物化视图的问题，目前还在分析中(大家 阅读全文

摘要：maven-dependency-plugin 是一个比较有用，但是大家日常使用不是很多的插件， 包含的功能 解析依赖（显示依赖树，解析依赖的插件） copy 依赖 解压copy 依赖（unpack 比如需要部分jar 包中的内容，calcite 扩展开发经常使用到） unpack 简单使用 比如我 阅读全文

摘要：主要是在以前周边工具上做一个简单的扩展说明 扩展 jdwp 调试 可以直接配置dremio 开启jdwp 方便调试，对于依赖的包可以通过dremio 的安装包提供，同时也有一个简单的缺点就是没有源码包 可以通过自己构建解决，毕竟dremio 大部分源码是开源的 glowroot glowroot 属 阅读全文

摘要：参考图 环境准备 核心是对于dremio 启动的时候开启jdwp 协议，对于本地ide 创建一个java maven 项目，添加依赖包（直接本地，添加dremio 安装包里边的jar 就行） 我基于容器进行运行 配置 /opt/dremio/conf/dremio-env 文件，我同时开启了jpro 阅读全文

摘要：dremio 联邦查询dremio 从代码上没太多高深的东西，实际上也是一个arp 扩展 ，同时官方做了不少优化 核心参考 主要是关于arp 扩展的 conf 类 @SourceType( value = "DREMIOTODREMIO", label = "Dremio-to-Dremio (pr 阅读全文

摘要：dremio 23.1 支持dremio 联邦查询了，以下是一个试用说明 环境准备 docker-compose 文件 version: "3" services: mongo: image: mongo:4.2 environment: - "MONGO_INITDB_ROOT_USERNAME= 阅读全文

摘要：就在今天dremio 23.1 发布了，新功能有一个dremio 联邦查询的很不错，其他主要是一些常见bug 的修复 主要新特性 hive 以及glue icege table location 支持 array_contains 函数支持 dremio 联邦数据源 snowflake 新数据源 s 阅读全文

摘要：最近arrow flight-sql-jdbc-driver 发布了，对于dremio 我们直接可以使用flight sql jdbc 驱动链接了，可以极大的提升查询性能（具体性能提升待测试） 环境准备 docker-compose 文件 version: "3" services: mongo: 阅读全文

摘要：就是最近apache arrow 提供了flight sql jdbc driver，但是目前还没有发布，从功能上还是比较期待的，内部实现了是基于了calcite 的子项目avatica 开发的，代码量并不是很大，可以学习下，以后对于dremio 的链接我们就多了一种选择了，实际上dremio 的j 阅读全文