摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行 原因 通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低 就是因为jdk 版本的升级，一台机器禁用了tls1.0 的 阅读全文

摘要：dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

摘要：参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

摘要：dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边，而且需 阅读全文

摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有 阅读全文

摘要：dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的） 解决方法 还好15 阅读全文

摘要：dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题 问题描述 因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver） 问 阅读全文

摘要：目前官方关于如何进行相关开发测试的明确的文档说明，但是我们基于官方提供的测试用例可以基本了解 官方提供的测试用例 sabot/kernel/src/test/java/com/dremio 目录 ├── ArrowDsUtil.java ├── BaseDecimalFunctionTests.ja 阅读全文

摘要：主要是为了实现类似数据联邦的功能的 参考图 代码 package com.dalong.dremio; import com.dremio.common.AutoCloseables; import com.dremio.common.util.CloseableIterator; import c 阅读全文

摘要：将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力，扩展数据查询以及数据虚拟层的能力 参考图 说明 就是类似一种联邦的模式，dremio 可以串联dremio，核心方法是开发一个dremio 的arp connector，具体的开发方式与cratedb 的模式是一样的 阅读全文

摘要：以前有介绍过如何基于arp模式开发一个dremio cratedb 的connector，但是当时的开发还是有点问题的 以下是一个参考官方jdbc plugin 开发的cratedb connector （支持schema 获取） 参考源码 package com.dremio.exec.store 阅读全文

摘要：官方关于arp的开发说明比较简单，如果需要支持一个兼容jdbc 的数据库开发还是有一些问题需要解决的 标准格式 conf 类 主要包含了关于UI，以及方言类的定义，同时也包含了数据源的管理，schema 的处理也比较重要 参考格式 @SourceType(value = "SNOWFLAKE", l 阅读全文

摘要：以下进行一个特性说明 新特性 utf-8编码支持 以前我们需要特殊处理（env 以及函数），现在可以直接查询了（测试可行） 启动清理有异常的物化视图 这个是早期dremio 版本存在的问题（当异常操作的时候，造成加速有问题，自动清理可以解决类似问题，因为依靠定时刷新还是有问题的） join 查询的性 阅读全文

摘要：几天前dremio 发布了15，有了好多性能提升以及bug修复，具体可以参考官方文档，后边试用下 参考资料 https://docs.dremio.com/release-notes/1500-release-notes/ 阅读全文

摘要：官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显，失去了使用dremio 的价值了 基于cube.js 预聚合处理（使用外部预聚合） 基于外部预聚合的解决方 阅读全文

摘要：时间操作函数在sql中是一个比较常见的功能，官方是有一些介绍，但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含，但是dremio 没有，这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date 阅读全文

摘要：比如怪异的一个问题，通过分析job 的执行情况发现都是正常的，但是经过调整之后发现属于解析的问题解决方法，可以通过在配置sql server 数据源的时候配置database 解决（就是强制指定了数据库） 问题现象 参考界面 阅读全文

摘要：dremio 14已经发布了，同时也提升了官方文档，对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了（sql server 乱码，mysql 5.3 之前的版本乱码） 说明 14 版本的源码暂时还没有开放出来，下载了以前版本解压发现mysql 版本依赖的驱动还是老的（升级新的乱 阅读全文

摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-re 阅读全文

摘要：软件包准备 可以从官方文档下载 准备 主要是关于运行账户，推荐创建一个独立的账户 配置 主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式 参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录 推荐配置独立 阅读全文