摘要：就在最近dremio 发布了社区版24.2.5 （但是源码以及maven 依赖还没有发布）核心上还是对于bug 的修复 说明 目前dremio 对于社区版的维护似乎不太积极，对于源码以及maven 相关的迟迟没有发布，社区有不少人在问，官方回复似乎在年底可以提供，还是比较期待的。。。。 参考资料 h 阅读全文

摘要：内容来自官方文档，介绍了一些关于dremio 的数据语义层的玩法 原则 分层 通过分层可以确保安全，性能以及可用性，dremio 提供了一个对于语义层的最佳实践 数据集的注释增强发现以及可理解性 可以通过tag 以及文档（wiki）进行数据的描述 最佳实践 使用1:1 的预处理层 此层的数据接近原始 阅读全文

摘要：内容来自官方文档，可以很好的了解dremio 的架构设计 参考图 说明 以上文档，相对简单，但是可以很好的说明dremio包含的能力以及如何进行dremio服务的部署 参考资料 https://docs.dremio.com/current/help-support/lakehouse-arch/ 阅读全文

摘要：目前已经有不少新项目都是使用了高版本的jdk，比如不少使用了jdk11，还有直接使用jdk17 的 dremio jdbc 驱动支持的jdk 主要是8，对于其他高版本jdk 的支持会有一些问题核心是netty 相关的 以下是一个参考配置 启动参数配置 适合jdk 17 以及以上版本的 java -- 阅读全文

摘要：以前dremio 对于基于sql 的数据集创建使用的命令是create vds <datasetname> as select * from <source>新的调整为了 create view <datasetname> as select * from <source> 说明 对于数据集的操作同 阅读全文

摘要：dremio 对于hive 的连接实际上有两种方法，一种使用的是hive 的meta store ,一种是使用的hive jdbc server第一中是官方支持的，第二种官方缺少直接的支持，需要自己开发相关的arp 扩展 一些参考实现 cdata 目前提供了一个开源实现，但是jdbc 驱动使用的是自 阅读全文

摘要：我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考 阅读全文

摘要：dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中， 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/ 阅读全文

摘要：就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持（历史，快照） 反射hints 支持（可以基于声明式定义） 一些新的半结构化数据聚合参数 自动反射推荐功能(属于企业版特性) 一些查询计划的优化（主要是修复一些历史之行计划的问 阅读全文

摘要：dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

摘要：以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息 说明 因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展 参考资料 https://docs. 阅读全文

摘要：此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用 参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/ 阅读全文

摘要：实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接 参考资料 https://docs.dremio.com/software/release-notes/240-release/h 阅读全文

摘要：以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客 一些差异 dremio 自己编译了hadoop lib 库 dremio 支持了level 配置 参考资料 https:// 阅读全文

摘要：dremio 就在昨天dremio 发布了24.1.0 版本（间隔时间还是比较长的），包含了不少特性，上午的时候简单看了下，但是因为目前文档页面打不开了我只简单说以下我看到的几个不错的 一些新特性 内置支持zstd 压缩了 Nessie 数据源支持，可以更好的使用Nessie 作为catalog 服 阅读全文

摘要：默认dremio 支持了azure，aws，gcs 等存储的访问，但是对于oss 是缺少支持的，实际上都是类似的对象存储 可选模式 直接使用aws s3 模式链接 通过测试是可以的，但是需要进行一些配置，参考如下 通过minio s3 gateway 很简单，但是注意minio 版本（新版本已经移除 阅读全文

摘要：dremio dac 模块包含了后端以及ui 部分，对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改 运行 修改之后需要重新构建打包 构建命令 mvn clean install -DskipTests 运行 可以直接将官方包的文件进行替换 目录为jars 阅读全文

摘要：今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后，搜了下发现snowflake 的元数据系统就是基于foundationdb的，同时官方也有不少介绍可以参考学习 参考资料 https://medium.com/snowflake/part-2-migrating-snowfl 阅读全文

摘要：我以前简单介绍过dremio 内部协调服务（基于了zk）以及数据存储的说明（实际上是基于了kv存储rocksdb）同时dremio 入口会创建DACDaemonModule （此类可以通过配置修改），如果需要修改修改就可以从此处下手，以下只是一个简单的说明，后续等有时间了实现下 当前方案 可以看出对 阅读全文

摘要：因为cube.js cache 部分使用了json 进行key 的存储，但是因为odbc 部分数据类型会有bigint，cube.js 会报错 解决方法 通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文