摘要：就是最近apache arrow 提供了flight sql jdbc driver，但是目前还没有发布，从功能上还是比较期待的，内部实现了是基于了calcite 的子项目avatica 开发的，代码量并不是很大，可以学习下，以后对于dremio 的链接我们就多了一种选择了，实际上dremio 的j 阅读全文

摘要：参考使用 创建函数 使用 参考提示查询就可以了 说明 以前我简单写过关于udf 的，实际上以前版本就是有问题的，dremio 23.1 版本是可以直接使用的 参考资料 https://www.dremio.com/blog/announcing-scalar-user-defined-functio 阅读全文

摘要：官方提供了具体的操作说明，可以很好的体验dremio 对于map 的使用，内容来自官方文档 数据生成 使用pyarrow import pyarrow as pa import pyarrow.parquet as pq description = ["Dictionary", "Dress", " 阅读全文

摘要：实际上1.0 发布了，就代表iceberg api 已经比较稳定了，dremio 是比较依赖iceberg （可以说是核心部分基本强依赖了iceberg 了）dremio 官方写了不少关于iceberg 的资料，很值得学习 说明 目前dremio 一直是紧跟iceberg的步伐， 比如dremio 阅读全文

摘要：为了方便测试测试，我构建了一个docker 镜像 镜像 Dockerfile FROM dremio/dremio-oss:23.0.1 USER root COPY dremio.conf /opt/dremio/conf/dremio.conf COPY --from=hengyunabc/ar 阅读全文

摘要：主要是dremio parquet zstd 压缩支持尝试，说明下思路，大家可以参考 修改 ExecConstants 配置 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java EnumeratedStringValidator 阅读全文

摘要：主要是一个简单的说明，我们可以通过源码以及git 提交学习一些不错的关于dremio 开发相关的东西 一个参考插的开发 如下图 插件开发 从上图可以看出核心就是config以及存储插件，以及相关的配置，还有插件加载的配置（类扫描） 插件测试 此测试类比较有意义，很多时间大家不爱测试，碰到问题就比较难 阅读全文

摘要：官方已经提供了相关的23版本的docker 镜像了，体验了下，总的来说ui 变化与22 相比没有多少，同时说是有一个query profile 的新界面但是没有看到，LISTAGG 是已经支持了（类似group_concat，从实现上并没有使用类似dremio 自定义聚合函数的格式，反而是基于cal 阅读全文

摘要：实际属于一个老问题了，整理下，方便使用，主要是我们在使用反射的时候碰到的问题 问题如下 UnknownFormatConversionException: Conversion = 'Unknown format (pdfs) conversion for path /xxxxxx.avro Err 阅读全文

摘要：问题描述 如下图 操作 一般我们会按照（注意需要开启s3 兼容模式），以上问题说明是依赖ssl，但是我们已经声明了不使用ssl 或者endpoint 带上http 如下,数据桶可以显示，但是会有如下的问题 原因 仔细看了下实际上是默认dremio 23 版本s3 使用了加密协议，但是我们的minio 阅读全文

摘要：实际上dremio 官方在23版本的relase note 中已经说明了关于jdk 的处理，在看了最新docker 镜像也可以印证此说明 参考处理 22 版本的 23 版本的 说明 目前已经有不少开源软件以及响应社区号召进行openjdk 基础镜像的调整了，我们也得跟进了 参考资料 https:// 阅读全文

摘要：目前dremio 23 社区版本源码已经开放了同时也提供了docker 镜像以及二进制文件，大家可以试用了 参考资料 https://download.dremio.com/https://github.com/dremio/dremio-oss 阅读全文

摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档 参考资料 https://github.com/dremio/dbt-dre 阅读全文

摘要：StoragePluginRulesFactory 是dremio 为了分离每个插件的规则，我们存储插件可以包含自己的规则工厂，具体使用到StoragePluginRulesFactory 的包含了CatalogServiceImpl，SqlHandlerConfig，实际都会到sql 执行的han 阅读全文

摘要：我以前简单说明过dremio 依赖的一些社区版的包（木有开源的）以下做一个简单的总结说明 社区版模式的开发模式 基于独立包进行扩展 扩展使用了配置动态加载或者直接引用模式，比如scheduler 就是基于class 加载机制，部分查询计划的扩展（sabot kernel）使用了包的模式（放到包中） 阅读全文

摘要：参考图 实际上是继承自calcite 的sql 方言类 arp 扩展的说明 目前官方的arp 主要是对于sql 数据库类型的高级支持，当然需要依赖社区版的arp 公共包dremio-ce-jdbc-plugin arp 扩展提供的能力 - schema 获取 - 执行sql - 数据源创建 - sq 阅读全文

摘要：dremio-sabot-logical 模块对于逻辑以及执行物理计划的处理，此模块提供的能力还是不少的 整体提供的能力 config 包含了配置（逻辑计划的持久化） expression 包含了函数，类型，visitor 访问 （关联表达式以及逻辑以及物理操作） graph 图主要实现操作的一个基 阅读全文

摘要：使用过dremio 的同学应该了解dremio 对于每个用户会支持一个@ 的导航（小房子标记） 参考接口效果 rest api 请求的，会包含一个containerType home 的就是HomeFileSystemStoragePlugin 产生的文件信息 HomeFileSystemStora 阅读全文

摘要：dremio 因为服务组件比较多，所以一些比较核心的可以做为服务的都会包装为一个service, 可以大大简化服务的管理，以及服务状态的统计 service 接口定义 public interface Service extends AutoCloseable { void start() thro 阅读全文

摘要：dremio 插件化比较明显，支持各种场景的数据处理以下只说明oss 的，社区版的没有包含 格式化插件 当前支持的格式化扩展，主要对于内容进行格式解析 存储插件 实际上场景是各类外部需要集成的系统（sql,nosql,s3） FileSystem 插件 主要集成外部文件系统类的存储（nfs,s3,h 阅读全文