摘要：因为cube.js cache 部分使用了json 进行key 的存储，但是因为odbc 部分数据类型会有bigint，cube.js 会报错 解决方法 通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文

摘要：我以前简单写过，基于odbc 的cube.js driver 开发简单说明，一直没有实现， 最近研究下了，发现实现起来还是很简单的 所以就写了一个，方便使用，对比下来性能提升是很大的 参考开发 核心是基于odbc 对于query以及testConnection 的实现，部分借鉴了http 协议的实现 阅读全文

摘要：S3StoragePlugin 核心是进行s3 的数据处理，从能力上来说主要是一个文件系统的存储插件，以前我简单介绍过关于存储扩展 的开发，一般需要包含一个存储插件配置类以及存储插件的实现（会有基于文件系统的s3，nas。。。。，基于底层基础类的jdbc 存储插件） 配置类 主要是S3PluginC 阅读全文

摘要：dremio 24 版本支持对于apache iceberg 的 Vacuum，只是这个功能官方文档没有说明，但是通过源码我们可以看处理 功能开启 需要通过配置支持项处理 使用 官方支持的命令还是比较全的，只是目前官方文档暂时还是没写 整体的能力（通过测试方法看到的） 参考使用 dremio 内部处 阅读全文

摘要：dremio 实际上集成子apache drill 部分术语具有共性 Crel 结尾的 实际上是原始 apache calcite RelNode Drel 结尾的 是drill RelNode（drill 相关的），在dremio 中可以理解为dremio RelNode Prel 结尾的 Phy 阅读全文

摘要：copy into from 是dremio 24 版本很不错的一个新功能，可以提升数据加载处理的速度（以前对于iceberg 数据的处理有insert into 以及通过ctas 模式） 简单机制说明 目前看到copy into from 并不象其他sql 命令基于sql SimpleDirect 阅读全文

摘要：dremio 24 版本开始支持表优化，主要是对于iceberg的表优化 机制简单说明 dremio 认为256M 是一个很不错的优选大小，其他的认为就是过小后者过大 参考图 额外的能力 支持基于路由的job处理，当然对于社区版是不行的，需要自己扩展 一些限制 一次只能运行一个任务 当前不支持del 阅读全文

摘要：新发布的dremio 24 版本包含了一些新特性，同时也一大部分是关于性能以及iceberg 支持的 新特性 表优化（iceberg） 回滚表（iceberg） copy into 强大快速的数据集成sql 能力（支持基于外部存储的数据倒入操作，可以解决不少输入进的问题） broadcast hin 阅读全文

摘要：就在几个小时之前dremio 24 发布了，有一些新功能以及变动，有不少不错的特性，同时源码以及社区版docker镜像官方也都已经提供了，可以参考试用 说明 大概看了介绍还是有不少特性值得学习研究的，后边详细介绍下 参考资料 https://github.com/dremio/dremio-oss/ 阅读全文

摘要：DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

摘要：尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

摘要：AppBundleRunner 的作用 运行通过AppBundleGenerator 生成的jar 加载上边jar 相关依赖到类加载器中 初始化实例，并调用main 方法 同时还包含运行实例的停止 参考处理说明 类加载处理 实际上是load 方法，通过解析jar 元数据信息，同时也会进行jar 的解 阅读全文

摘要：AppBundleGenerator 的目的是方便yarn 应用的运行，dremio 自己开发了一个方便软件打包的服务，可以简化 参考处理 默认生成的jar 包名称dremio-bundle.jar public Path generateBundle() throws IOException { 阅读全文

摘要：YarnDaemon 与DremioDaemon 基本类似，都是启动dremio 服务，只是YarnDaemon 更多是关于执行器节点的运行模式与 DremioDaemon 差异比较大，DremioDaemon 就是一个long running 任务，但是YarnDaemon 实际上是一个由线程调度 阅读全文

摘要：此问题，官方已经确认是在进行反射替换的时候有问题，同时预计会在24 版本解决，但是目前暂时还没有发布（官方对于社区版的支持不是很好。。。。） 参考资料 https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-mi 阅读全文

摘要：目前此功能主要是支持yarn 等资源调度的，在dremio 系统中名称为弹性引擎 ProvisioningService 服务接口定义 参考类图 不同类型的实现 具体操作是由ProvisioningServiceDelegate定义进行操作的，并在dremio 启动的时候会包含相关服务能力的创建，因 阅读全文

摘要：主要是包含了基于云以及yarn 模式的部署 aws eks azure arm azure aks yarn 模式 标准集群模式 说明 以上集中模式包含了软件以及在云端部署的（与cloud 模式是不一样的），而且从dremio 目前的发展来说软件模式的基本不太推荐了，主要是cloud 模式了差异性还 阅读全文

摘要：dremio 对于服务的依赖管理以及处理没有直接使用google guice，而是dremio 自己包装了一个类似guice的ioc 能力 提供的能力说明 因为对于ioc 来说需要包含不同的几种服务注入模式（属性注入，构造函数注入），服务也会包含不同的scope （单例，实例，provider模式） 阅读全文

摘要：以前有简单介绍过dremio 的DACModule 模块，核心就是进行服务的启动以及依赖管理维护，接口实现了包含了bootstrap 以及build 区别在于bootstrap管理的是一些需要提前准备好的服务（比如协调服务，master 选举服务，还有就是一些引擎相关的，但是社区版没有实现） boo 阅读全文

摘要：通过web sql 直接我们可以了解一些dremio 查询执行的处理，对于web sql 执行来说如果从实际来说应该包含了两类: 通过rest api 执行sql 的以及通过web ui 操作的 rest api sql 执行 sql 查询流程为: 先提交任务，然后通过任务id 或者sql 执行的状 阅读全文