摘要：dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理） 查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射 阅读全文

摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统） 说明 arrow 的flight sql 可以很大的提升数据查询处理能力， 很值得 阅读全文

摘要：一个dremio 查询简单调用链的说明 参考命令 arthas watch watch com.dremio.sabot.exec.fragment.FragmentExecutor$AsyncTaskImpl run '{params, target, returnObj, throwExp}' 阅读全文

摘要：dremio 官方也说明了，已经支持openjdk 11 了，但是默认官方的还是openjdk 8，为了体验jdk11 所以基于官方的 搞了一个openjdk11 的镜像，很简单 dockerfile ARG JAVA_IMAGE="openjdk:11-jdk" FROM ${JAVA_IMAGE 阅读全文

摘要：从dremio 22 开始iceberg 已经成为了dremio 标配的ctas 操作了，而且同时也支持直接创建iceberg 表了，此功能整个是很强大 支持的操作 create 支持ctas 以及普通的create 操作 ctas create table mys3.demoapp.dalongt 阅读全文

摘要：主要是验证下官方发布 ctas iceberg 成为默认 iceberg dml 操作 比如update, 真的比较强大了 sql 自动提示 是更加友好了 arrow cache 废弃了 支持对于table 添加主键 说明 以上只是简单的测试，详细的其他功能打开可以测试，目前来说22 版本还是很强大 阅读全文

摘要：dremio 22 发布了（目前社区版下载以及源码暂时还没发布），新功能很多，也比较值得期待 新特性 iceberg dml 支持，支持了delete，update，merge 等操作，很强大 azure data explorer 数据源支持 sql 编辑器，自动提示 sql runner 保存s 阅读全文

摘要：我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了 增量处理策略 对于文件系统，可以自动标识新的文件 对于其他数据 阅读全文

摘要：async-profiler 是一个很不错的java 性能分析工具，同时也包含了一个方便的jfr 转换工具convert （当然不只是jfr，其他的比如collapsed stacks 也是支持的） 以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文

摘要：具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java，我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的，比如一些dremio 的默认参数就可以基于此调整了 简单配置截图 说明 dremio 的一些 阅读全文

摘要：实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性，但是没有运行起来，实际上是配置问题 参考玩法 配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文

摘要：dremio 是了slf4j 进行文件日志处理，使用的是logback，默认会包含三个日志文件 logback-access.xml logback-admin.xml logback.xml 简单说明 logback.xml 标准logback日志配置文件主要记录dremio内部组件的日志，log 阅读全文

摘要：dremio 官方专门提供了一个章节，讲解如何进行分析，一些是一个总结，以及学习 预备 下载profiles，以及上传到dremio 中（个人默认space中）因为profiles 默认是json 格式的，我们直接使用dremio 查询分析数据 需要关注的内容: sql 查询：sql 查询是否符合预 阅读全文

摘要：dremio 实际上对于sql 查询处理都是一个job，基于了自己的一套任务调度机制，很多时候我们也是需要进行job 分析的（执行中，以及执行完成的） job 概述 job 概述包含了job 查询类型，运行时间，开始时间，结束时间，用户以及jobid，同时还包含了数据量以及流量情况 job 详情 j 阅读全文

摘要：这次版本的更新从官方文档看应该支持企业版的，但是发现社区版也是更新了，从介绍上bugfix 比较多,同时对于安全更新也不少 更新 dremio-admin clean 支持对于老旧dataset 版本的清理（不在关联job 的），注意clean 需要挺服务操作 dremio-admin clean 阅读全文

摘要：以前我大概有说过一些dremio的社区包，今天再看一个文件操作的时候看到了一个对于joust 的具体操作 依赖包 dremio-ce-sabot-joust-cpp-20.1.0-202202061055110045-36733c65.jar dremio-ce-sabot-joust-java-2 阅读全文

摘要：dremio 21.1 对于分布式存储的变动对于希望体验本地反射是一个比较费事的，我们需要自己配置下，当前支持 的分布式存储实际上是不少的，包含了传统的hdfs，nas，s3 ,mapr,adls, 但是很多是时候大家肯定没有实际条件 实际上有一种最简单方法就是直接使用本地存储，只是使用了类似nas 阅读全文

摘要：dremio 大量使用了数据缓存，元数据，查询job result，加速数据缓存，spill 本地磁盘缓存 job result 清理 按照官方的说法是系统包含了定时任务，默认会30天自动清理,同时变动之后当手工重启的时候会自定清理，同时不清理job 的profile 只是job result 但是 阅读全文

摘要：主要演示下，具体参数以前我有说明过 环境准备 dockerfile FROM dremio/dremio-oss:21.1 USER root COPY dremio-env-profile /opt/dremio/conf/dremio-env COPY --from=hengyunabc/art 阅读全文

摘要：直接基于下载的源码包，以下是自己构建可能的一些问题（因为每个人的电脑问题比较多，以下是整理一些比较典型的） npm 版本问题 建议保持一致，目前当前的版本至少7.7.5 （21.1） 依赖版本问题 如果网络不通这个就是一个问题，可以使用本地模式的，（本地模式的注意需要自己构建下） "react-do 阅读全文