摘要：主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa 阅读全文

摘要：最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了 用户创建bug问题 现象 问题 按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明 解决方法 当前来说并不是没有解决方法，官方 阅读全文

摘要：新特性 apache iceberg hive table 支持 新的导航页面 pivot 以及unpivot 操作支持 移除混合类型支持 新job ui 做为默认 其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。） 移除了依赖arp 扩展的支持（所以以前开发的 阅读全文

摘要：参考配置 dremio.jobs.new.ui 效果 说明 目前的测试官方18.1 分钟级别的元数据刷新也是支持了 参考资料 https://docs.dremio.com/advanced-administration/support-settings/ 阅读全文

摘要：这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因 mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射 阅读全文

摘要：就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题 说明 对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是别直 阅读全文

摘要：dremio 是支持create table的，官方文档比较简单，只说明了可以直接创建，但是dremio 的create table 其实是更加强大的 如果使用了dremio的ui 的话，数据下载导出就是利用了这个能力，但是默认是在master中执行的，而且数据是放在一个固定的space中 __da 阅读全文

摘要：目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical 阅读全文

摘要：问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修 阅读全文

摘要：一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中） 比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译 源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是 阅读全文

摘要：混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的） 说明 dremio 18 也 阅读全文

摘要：dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供） 新的查询可视化器（需要等待发版体验） 混合类型移除（需要自己手工处理，目前17就有这 阅读全文

摘要：参考解决方案 原理说明 用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析 环境 阅读全文

摘要：dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

摘要：dremio 外部反射的意思是，反射的数据是在外部存储中，而不是由dremio 自己生成的，典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据 创建外部反射 创建vds CREATE VDS "myWorkspace"."sales_by_region" AS SELECT AV 阅读全文

摘要：外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理 注意不是双引号，而且两个单引号 SELECT * FROM table(mdm_oracle.external_q 阅读全文

摘要：参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 阅读全文

摘要：通常的玩法 平时在进行dremio 升级的时候的步骤如下： 停止node节点，升级软件包（基于软连接，调整配置） 停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储） 启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下 阅读全文

摘要：使用场景 基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作 参考图 查询 因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作 说明 当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一 阅读全文

摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明 因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重 阅读全文