2022年10月17日

dremio HomeFileSystemStoragePlugin简单介绍

摘要： 使用过dremio 的同学应该了解dremio 对于每个用户会支持一个@ 的导航（小房子标记） 参考接口效果 rest api 请求的，会包含一个containerType home 的就是HomeFileSystemStoragePlugin 产生的文件信息 HomeFileSystemStora 阅读全文

posted @ 2022-10-17 22:58 荣锋亮 阅读(51) 评论(0) 推荐(0)

dremio 的服务管理

摘要： dremio 因为服务组件比较多，所以一些比较核心的可以做为服务的都会包装为一个service, 可以大大简化服务的管理，以及服务状态的统计 service 接口定义 public interface Service extends AutoCloseable { void start() thro 阅读全文

posted @ 2022-10-17 21:08 荣锋亮 阅读(40) 评论(0) 推荐(0)

dremio 的几种插件

摘要： dremio 插件化比较明显，支持各种场景的数据处理以下只说明oss 的，社区版的没有包含 格式化插件 当前支持的格式化扩展，主要对于内容进行格式解析 存储插件 实际上场景是各类外部需要集成的系统（sql,nosql,s3） FileSystem 插件 主要集成外部文件系统类的存储（nfs,s3,h 阅读全文

posted @ 2022-10-17 20:08 荣锋亮 阅读(75) 评论(0) 推荐(0)

dremio AbstractRecordReader 简单说明一

摘要： AbstractRecordReader 在dremio 实现了不同存储的数据读取处理，还是比较重要的，毕竟dremio 主要还是查询 AbstractRecordReader接口定义 AbstractRecordReader 实现了RecordReader接口，当然AbstractRecordRe 阅读全文

posted @ 2022-10-17 17:32 荣锋亮 阅读(43) 评论(0) 推荐(0)

dremio Operator 简单说明

摘要： 来自官方的一小段介绍 Operator 是执行的基础单元，Operator 对于一个或者多个input 数据 stream 进行消费，然后输出，他们是单线程的 同时包含了不同类型的Operator 同时也会包含不同的状态，但是所有的状态会通过一系列的MasterStates进行描述 主要包含四类op 阅读全文

posted @ 2022-10-17 17:30 荣锋亮 阅读(57) 评论(0) 推荐(0)

导航