2023年1月4日

dremio DatasetSaver 服务说明

摘要： 我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务 实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力 核心提供的能力 主要是包装DatasetSaver 处理元数据的保存 阅读全文

posted @ 2023-01-04 18:33 荣锋亮 阅读(44) 评论(0) 推荐(0)

dremio datastore简单说明

摘要： datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ） 实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点 阅读全文

posted @ 2023-01-04 11:51 荣锋亮 阅读(71) 评论(0) 推荐(0)

piperider 开源数据可靠性工具

摘要： piperider 是基于python 的数据可靠性工具，主持数据的profile ，数据的测试以及数据的可观测性以及监控 核心特性 基于sql，同时支持csv 数据profule 的特性，包含了metrcis以及重复，唯一，缺少。。。 数据测试，基于内置的断言定义 基于运行的profile启动生成 阅读全文

posted @ 2023-01-04 11:50 荣锋亮 阅读(194) 评论(0) 推荐(0)

导航