摘要：dremio 实际上添加了支持基于opentelemetry 的监控处理,代码处理上官方是已经支持了metrics ，当然也是支持trace的 参考处理机制 处理上基于了配置，同时利用了jackson 多太类型处理，以及基于spi模块加载机制 配置加载 包装了TelemetryConfigurato 阅读全文

摘要：dremio ClusterCoordinator 主要是处理集群任务协商的，比如那些服务可以在什么节点上运行，以及对于查询具体这么执行，对于元数据应该如果存储以及元数据如何进行刷新，同时还包含了节点的任务处理 相关实现类 目前官方包含了基于zk的软件运行模式，以及本地集群模式的，当然好包含了一个方 阅读全文

摘要：dremio 的webserver 是基于jetty+jersey 开发的web server 同时也和标准的dremio 服务一样实现了service 接口方便服务的启动 具体是由DACDaemon 调用触发的启动 webserver start 服务 @Override public void 阅读全文

摘要：admin cli 提供了对于dremio 维护的能力，包含了备份，清理元数据，导出profile，nessie 维护，恢复，更新kv 存储、重置密码。。。 修复acl （企业版特性） 参考代码处理 基于了注解以及类扫描机制 代码 public static void main(String[] a 阅读全文

摘要：DACModule 核心是进行dac 一个帮助类，进行一些依赖的处理，方便在DACDaemon 中使用，同时官方为了支持自定义 基于动态类创建进行了扩展（DremioDaemon 处理的） 接口定义 参考类图 备注： 会发现包含两个SingletonRegistry （bootstrap的以及一个普 阅读全文

摘要：通过DremioDaemon 我们知道dremio 服务的启动时通过DACDaemon 处理的 DACDaemon的启动 <wiz_code_mirror> // 包含了DACConfig，模块的类扫描结果， DACModule 模块实现（可以通过配置选择的，比如自定义自己的） DACDaemon. 阅读全文

摘要：DremioDaemon 的核心是启动dremio服务同时进行一些依赖的注入 简单启动说明 包含了自动更新处理（主要是kv 存储的，后边会介绍dremio 一些任务） 查找DACModule创建类，并初始化内部包含的服务（不少是基于dremio 的service 机制启动的），等待jvm 退出，并处 阅读全文

摘要：dremio 的配置基于了typesafe 的config 参考配置 模块级别的配置 sabot-module.conf dremio.classpath.scanning { base.classes += "com.dremio.dac.cmd.upgrade.UpgradeTask" pack 阅读全文

摘要：dremio DACModule 主要是模块加载初始化以及组合，是一个比较重要的模式，同时也支持基于配置进行加载（有点很多了，后边简单介绍） 加载机制 支持配置加载 可以通过dremio 运行配置文件添加dremio.daemon.module.class 支持 services: { coordi 阅读全文

摘要：maven flatten-maven-plugin 是一个比较有意思的项目，核心是对于我们发布的包提供一些简洁清晰的使用，去除掉哪些没用的（比如父pom 信息 ，profile 信息。。。） 参考使用 maven flatten-maven-plugin 使用比较简单，就是添加插件，几个简单配置就 阅读全文

摘要：日常中大家应该使用过maven-assembly-plugin 进行软件打包，maven-assembly-plugi 内部已经提供了几个开箱即用的descriptorRef， 主要是: bin,jar-with-dependencies,project,src 实际处理可以参考插件源码，我们一般都 阅读全文

摘要：以下简单说明下dremio distribution，distribution 核心是进行项目的发布，这种模式经常在apache 类似项目中看到 参考项目结构 简单说明 jdbc-driver 还是是对于jdbc 驱动的处理，实际上在dremio 的client/jdbc 中已经包含了jdbc 驱动 阅读全文

摘要：dremio dac 模块在官方的定义中是dremio 分析中心的意思，代码上包含了，backend，common,daemon, ui 模块的功能 backend dremio 的server 部分，在构建打包之后会包含ui 部分的组件（前端），基于jersey 开发的web server ioc 阅读全文

摘要：dremio 在执行计划物理计划转换之后，对于执行计划会包含不同的fragment，fragment 会组成一颗树，包含了PlanFragmentMajor以及PlanFragmentMinor 对于组成的树之后dremio 就需要调度执行了（里边会包含资源分配，优先级，运算操作,大致处理可以参考d 阅读全文

摘要：ConduitServer 是基于grpc 开发的服务，通过提供的ConduitServiceRegistry 进行定义服务的注册 实现并注册的服务 参考下图，都是grpc 的实现，可以看出包含了不少，比如datasetcatalog，informationschema，option，nessise 阅读全文

摘要：FabricServer 主要是对于dremio内部rpc 的通信，包含了调度节点与执行节点的通信以及内部的一些命令处理 FabricServer 是通过FabricServiceImpl 进行实际服务的创建管理（dremio 服务组件的一个套路实现了service 接口会 包含start 方法） 阅读全文

摘要：drill 是基于netty 4 做为rpc的底层处理，同时基于了 protobuf 进行通信层的处理（减少堆数据的传输）客户端以及server 都利用了CompleteRpcMessage protobuf 消息包装进行request，response 以及errors 处理通信是使用流模式 进行 阅读全文

摘要：FragmentStarter 主要进行FragmentExecutor的启动管理 Fragment 执行简单说明 dremio 对于Fragment的执行与apache drill 是一致的，会包含root，中间，以及leaf，同时Fragment 会包含 major 以及 minor fragm 阅读全文

摘要：dremio 在经过sql 解析，sql转换，优化器，物理执行计划，会包含一个基于jackson序列化的格式的执行计划信息（整体与drill是类似的） 提供的能力 注册自定义的jackson 序列化处理模块（包含了protobuf），以及子类型（connectionReader 以及Physical 阅读全文

摘要：ctas 从使用上就是一个sql 操作，dremio 会基于sql 生成逻辑计划，然后到物理计划，之后到执行计划，然后会转变为对于支持写入操作 数据源的操作（目前包括了parquet 格式以及iceberg格式）, 当前对于支持CTAS 的主要是分布式存储（NAS，对象存储。。。）.我以前 简单说明 阅读全文