摘要：AbstractRecordReader 在dremio 实现了不同存储的数据读取处理，还是比较重要的，毕竟dremio 主要还是查询 AbstractRecordReader接口定义 AbstractRecordReader 实现了RecordReader接口，当然AbstractRecordRe 阅读全文

摘要：来自官方的一小段介绍 Operator 是执行的基础单元，Operator 对于一个或者多个input 数据 stream 进行消费，然后输出，他们是单线程的 同时包含了不同类型的Operator 同时也会包含不同的状态，但是所有的状态会通过一系列的MasterStates进行描述 主要包含四类op 阅读全文

摘要：实际上我以前简单说明过dremio 的一些测试类以及如何进行测试一般我们使用BaseTestQuery 就可以了 实际上对于测试dremio 包装了一个SabotNode 类，提供了不带ui 的测试框架能力(server 引擎能力) SabotNode 提供的能力 SabotNode 是一个drem 阅读全文

摘要：dremio 的元数据会影响查询的执行，以及bi 工具的使用，所以会包含两部分，读以及写,dremio 包含了定时刷新的，以及在source 首次创建 的时候（adhoc ） 参考图 写入保存，基于页面操作的核心是DatasetSaver 实现的save 方法 Affect(class count: 阅读全文

摘要：最近dremio 23 版本发布了（社区版以及下载地址还没提供），一些变动还是比较大的 破坏性变动 mapr 只支持6.2.0 了，对于mapr 也只支持jdk 11 dremio 可以直接读取parquet 文件的map 类型，对于包含了map 类型的需要刷新元数据，同时也支持开关可以关闭此特性 阅读全文

摘要：这次dremio 的发布从功能上更多是bug 修复比较多，对于增强上主要是调整了对于嵌入nessie 历史数据的处理，允许对于非分片列的运行时过滤优化bug 修复还是比较多的，具体可以参考官方文档 参考资料 https://docs.dremio.com/software/release-notes 阅读全文

摘要：就在最近官方blog 发布了关于udf 以及行级以及列级访问控制的详细介绍，还是值得学习阅读的，我以前是简单介绍过 通过阅读官方博客，发现了对于自定义函数的使用，同时纠正下以前关于只能权限控制使用的说明（实际上也可以直接使用的） 参考使用 创建 CREATE FUNCTION area (x DOU 阅读全文

摘要：以前大概写过关于使用jprofiler 分析dremio的，以下是结合perfinoperfino 与jprofiler 都是一家公司的产品，perfino 提供了完整的apm 能力，同时基于web，使用以及管理还是比较方便的而且支持自动依赖发现，可以实现系统资源的完整查看（实际上apm 平台都支持 阅读全文

摘要：实际上官方文档对于parquet 的定义已经有一些说明了，以下结合源码验证下 参考配置 参考配置参数sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java block size 默认是256m String PARQUET_BLOC 阅读全文

摘要：dremio 比较依赖parquet 存储格式，同时对于parquet 的处理进行了不少的优化 读parquet 文件 3.1.3 提供了支持非堆内存的操作，3.2 增强了对于云parquet reader 的处理 parquet 的一些限制 多结构嵌套的支持限制到16 数组最大元素个数限制为128 阅读全文

摘要：就在最近看到dremio flight sql odbc 支持mac 以及linux 了，看了下github 发现odbc 源码也是开源了，很不错，很值得学习下dremio 对于arrow flight sql odbc 的开发以及集成处理，具体项目源码参考链接 参考资料 https://githu 阅读全文

摘要：dremio 的效率还是很高的，已经支持mac 以及linux了， 以前只是支持windows，如果大家可以升级到dremop 22 版本，odbc 的问题就基本没啥问题了 mac 安装效果 驱动的一些信息 可以通过strings 命令看到，包含了grpc 的信息 strings libarrow- 阅读全文

摘要：dremio 就在5月底左右的时候，对于odbc 驱动停止了下载，目前在dremio 社区网站有不大好人员反馈了，总的来说是很不好对于数据处理领域基于python （会使用到odbc）是不少的，而且问题也不少，就看后边官方如何解决了，我整理了一些自己已经下载好的driver，同时放到github 上 阅读全文

摘要：整理一些关于InfoSchemaScanCreator 请求调用链的，方便记录学习 参考调用链信息 stack com.dremio.exec.store.ischema.InfoSchemaScanCreator create ts=2022-07-17 14:50:01;thread_name= 阅读全文

摘要：今天简单说明了下关于InformationSchemaCatalog 服务的介绍，当时介绍的InformationSchemaCatalog 更多属于基础能力（实际上这个类核心还是dremio 内部使用的） 对于在bi 工具以及系统使用的，dremio 是通过了独立的存储扩展（dremio 存储扩展 阅读全文

摘要：InformationSchemaCatalog 服务实现了模仿information_schema的能力，让我们可以更好的在bi 工具以及其他系统使用 接口定义 /** * Facet of the catalog service that provides metadata with an in 阅读全文

摘要：了解dremio 当前支持的权限，可以让给你我们更好的处理以及学习dremio的安全控制机制 数据集权限 alter 对于system，space，source，folder，pds，vds 的操作，包含了add,delete,modify,同时包含了元数据的处理 alter_reflection 阅读全文

摘要：尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力，但是我们通过官方文档还是可以学到不少东西的，同时也有助于我们可以自己的认证授权模块 对象层级 dremio 是基于了继承模型进行权限的处理，比如我们授权的对象，包含了子对象，那个用户也是可以操作子对象的（dremio 称之为scop 阅读全文

摘要：以下是基于arthas 生成的调用，可以参考学习使用 参考调用 [arthas@1]$ stack com.dremio.exec.planner.sql.handlers.direct.CreateFunctionHandler toResult Press Q or Ctrl+C to abor 阅读全文

摘要：dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用 目前udf 面向的创建是基于行以及列级别的访问控制 创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文