2024年4月17日

dremio FormatCreator 简单说明

摘要: FormatCreator 的核心职责就是进行Format plugin 的创建 核心提供的能力 如下图,目前核心是为FileSystemPlugin 提供格式化处理的能了(包含了格式识别,数据预览,格式插件查找,创建格式插件) 构造函数初始化 默认是基于了动态类发现以及加载进行系统FormatPl 阅读全文

posted @ 2024-04-17 19:49 荣锋亮 阅读(43) 评论(0) 推荐(0)

dremio No enum constant com.dremio.common.types.TypeProtos.MinorType.TIMESTAMPMICRO 问题简单说明

摘要: 现象 此问题一般出现了我们对于数据源的物理表进行了反射(源表包含时间戳类型的数据),但是我们希望直接使用反射里边的parquet 文件格式数据,此时使用预览默认是可以读取parquet 数据的,但是当我们实际查询的时候发现可能提示此问题 参考异常调用链 VALIDATION ERROR: No en 阅读全文

posted @ 2024-04-17 19:48 荣锋亮 阅读(29) 评论(0) 推荐(0)

kuto 大型js 项目快速更新的一个工具

摘要: kuto 这个工具比较有意思,可以将大型js 项目的js bundler 进行拆分,这样用户就可以下载更少的资源了,提升加载速度 kuto 的处理机制 第一次构建的时候 kuto 可以将源js 拆分为maina 以及一个正常的大的corpus corpus 没有副作用,同时这个corpus 是可以c 阅读全文

posted @ 2024-04-17 08:00 荣锋亮 阅读(134) 评论(0) 推荐(0)

dremio 一个元数据刷新问题

摘要: 以前关于dremio 元数据刷新的也简单介绍过,最近发现dremio 新版本(从24.1 版本开始)有一些调整,废弃了,所有数据集的刷新配置 只支持基于查询的元数据刷新,一些关于此调整一些说明 好处 减少了元数据刷新的时间以及对于查询的影响,可以让查询阶段的元数据处理更快了(核心是减少查询处理) 减 阅读全文

posted @ 2024-04-17 00:15 荣锋亮 阅读(75) 评论(0) 推荐(0)

导航