hilla 框架的组成
摘要：
hilla 实际上是使用了不少开源技术，但是开发效率比较搞 包含的组件 spring boot 后端 lit 前端 一些列自定义ui 组件 一个c/s 框架，方便处理c/s 通信，路由，数据当定，提供endpoint 生成 maven/gradle 插件，方便应用的运行以及打包 组件说明 sprin 阅读全文
posted @ 2022-03-12 18:13 荣锋亮 阅读(299) 评论(0) 推荐(0)
hilla java 现代web 框架
摘要：
hilla 是来自vaadin 团队的web 框架，可以让我们简化java 项目web 的开发，vaadin 开源以及公司的产品都是很不错的hilla 利用了typescript 以及spring boot ，可以让我们可以类型安全的系统 支持的特性 类型安全访问 包含ui 组件，包含了vaadin 阅读全文
posted @ 2022-03-11 21:36 荣锋亮 阅读(259) 评论(0) 推荐(0)
dremio RuleBasedEngineSelector 简单介绍
摘要：
dremio 提供了一个空的默认RuleBasedEngineSelector 实现，主要实现基于规则的引擎选择 接口定义以及默认空实现 public interface RuleBasedEngineSelector { public String resolveAndUpdateEngine(R 阅读全文
posted @ 2022-03-11 21:34 荣锋亮 阅读(56) 评论(0) 推荐(0)
dremio maestro 服务简单介绍
摘要：
maestro 英文翻译是大师，dremio 中的 maestro 主要进行服务的执行（提供一个执行抽象，实际具体执行是由command pool 操作的dremio 也还包含了一个独立的maestro 的rpc 定义（基于fabric 进行通信，主要包含了rpc 类型以及client方便kerne 阅读全文
posted @ 2022-03-11 01:03 荣锋亮 阅读(139) 评论(0) 推荐(0)
apache drill 查询机制
摘要：
内容来自 apache drill 学习手册 drill 的组件 drill 客户端，链接到foreman ，提交sql，接受返回的结果 forceman ，一个选择会话管理以及处理查询请求的drill 服务器，drill 的客户端会在drill 集群中随机选择一个driilbit 做为会话的for 阅读全文
posted @ 2022-03-11 00:26 荣锋亮 阅读(323) 评论(0) 推荐(0)
dremio resourcescheduler 模块说明
摘要：
resourcescheduler 是dremio 进行资源分配处理的包含了不少功能，默认dremio 社区版本是包含一个简单的调度，但是对于复杂的是需要企业版的，如果需要自己扩展就可以基于此模块 几个接口功能 RuleBasedEngineSelector 自定义基于规则的引擎查找,默认实现为nu 阅读全文
posted @ 2022-03-09 23:48 荣锋亮 阅读(71) 评论(0) 推荐(0)
dremio AttemptManager 服务
摘要：
AttemptManager 属于dremio kernel部分的，主要用来管理对于一个查询的所有fragments（分段）（本地以及远程） 参考处理流程（内容来自官方说明） AttemptManager 做为一个runnable 提交（实际上内部使用了线程调度） runnable 执行查询计划 状 阅读全文
posted @ 2022-03-09 23:01 荣锋亮 阅读(24) 评论(0) 推荐(0)
krakend 2.0.0 发布了
摘要：
krakend 去年是加入了linux 基金会，成为lura 项目，就在昨天krakend发布了2.0 新特性还是不少的 新特性 graphql 支持，gateway 支持graphql 已经是一个基本的必须项了（支持的玩法还是比较多的，具体参考官方文档） 新的request，response 修改 阅读全文
posted @ 2022-03-08 23:33 荣锋亮 阅读(176) 评论(0) 推荐(0)
dremio ConnectionConf 接口说明
摘要：
基本所有dremio 的存储扩展的配置管理都会使用此类 参考类图定 ConnectionConf 继承了AbstractConnectionConf 功能比较简单，主要是提供了获取类型，以及转换为字节字符串 获取类型部分使用了dremio 的注解（开发扩展会包含一个注解，设计还是比较巧妙的，简化了注 阅读全文
posted @ 2022-03-08 20:53 荣锋亮 阅读(100) 评论(0) 推荐(0)
dremio SourceMetadataManager 服务简单说明
摘要：
SourceMetadataManager 对于dremio 来说是一个比较重要的东西，它是包含在ManagedStoragePlugin中的一个能力 所以每个存储扩展都包含了一个SourceMetadataManager，而且ManagedStoragePlugin 会利用SourceMetada 阅读全文
posted @ 2022-03-08 00:12 荣锋亮 阅读(69) 评论(0) 推荐(0)
dremio 反射加速服务简单说明一
摘要：
反射是dremio 的一个特性（相比其他查询引擎强大的地方）以下简单说明下 内部简单处理说明 dremio 对于反射包含了自己的文件系统 （AccelerationFileSystem） dremio 的反射包含了自己的存储插件（AccelerationStoragePlugin） dremio 默 阅读全文
posted @ 2022-03-07 00:05 荣锋亮 阅读(208) 评论(0) 推荐(0)
dremio DatasetListingService 服务简单说明.
摘要：
DatasetListingService 从功能上来说主要是处理dremio 集群节点访问datasets 的处理，默认基于namespace 的只能协调节点访问，CatalogService 就依赖DatasetListingService 简单介绍 实现类图 从定义以及子类上，可以看出，主要还 阅读全文
posted @ 2022-03-06 22:25 荣锋亮 阅读(54) 评论(0) 推荐(0)
dremio CatalogService 服务简单说明
摘要：
CatalogService 在dremio 中还是比较重要的，包含了source 以及storage 插件的通信处理，ManagedStoragePlugin 实际上是一个存储扩展的 包装，支持插件的状态管理，PluginsManager 主要进行存储扩展的管理，如果看过我以前写过的jdbc ar 阅读全文
posted @ 2022-03-06 22:03 荣锋亮 阅读(101) 评论(0) 推荐(0)
dremio 的配置管理简单说明
摘要：
dremio 包含了一套比较完备的配置处理，包含了注解以及接口定义，也包装为了一个bean 模块，各个系统可以方便的使用 同时对于配置也包含了类型校验处理 支持的配置类型 public enum OptionType { BOOT, SYSTEM, SESSION, QUERY } 参考实现类图 不 阅读全文
posted @ 2022-03-05 23:02 荣锋亮 阅读(129) 评论(0) 推荐(0)
dremio arp BaseTestQuery 类windows 系统问题
摘要：
对于开发的dremio arp 扩展，我们很多时候需要进行测试，官方是提供了一个BaseTestQuery的类，可以方便的编写测试但是此类默认会创建hadoop 相关的东西，使用起来还是很费事的，一般我们开发jdbc arp 扩展的时候是不会使用hadoop的所以应该禁用，参考官方修改了一个去掉ha 阅读全文
posted @ 2022-03-04 21:46 荣锋亮 阅读(52) 评论(0) 推荐(0)
dremio 内置的一些默认配置参数
摘要：
参考代码定义 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java其中定义了不少关于dremio 执行引擎的一个配置参数，有部分可以结合apache drill 学习 说明 dremio 官方文档不是很全，很多东西可以结合源码以及 阅读全文
posted @ 2022-03-04 21:41 荣锋亮 阅读(76) 评论(0) 推荐(0)
dremio 的ArpDialect 简单介绍
摘要：
dremio 的ArpDialect 让我们可以直接基于yaml 文件配置sql 类型以及处理，可以很大程度上简单jdbc 存储插件的开发 核心上还都是扩展的apache calcite sql 方言 核心部分 参考代码 截取了部分，同时基于yaml 处理了ArpTypeMapper，包含了不少类型 阅读全文
posted @ 2022-03-04 00:10 荣锋亮 阅读(54) 评论(0) 推荐(0)
dremio jdbc arp 扩展包装以及加载处理
摘要：
如果按照官方直接提供的jdbc 存储插件进行jdbc驱动开发是很痛苦的，好多问题需要解决 还好官方抽象了arp 开发模式，大大简化了我们的处理，而且很灵活，很简单 参考处理 创建调用链 以下是一个添加arp 的处理流程 stack com.dremio.exec.store.jdbc.conf.Jd 阅读全文
posted @ 2022-03-03 23:25 荣锋亮 阅读(93) 评论(0) 推荐(0)
dremio 社区版JdbcStoragePlugin 简单说明
摘要：
目前来说dremio JdbcStoragePlugin 是没有开源的如果需要学习就需要通过反编译的手段，目前来说 参考类图 从下图可以看出jdbcstorageplugin 也是依赖storageplugin开发的，扩展了SupportsListingDatasets以及SupportsExter 阅读全文
posted @ 2022-03-03 21:12 荣锋亮 阅读(114) 评论(0) 推荐(0)
dremio 社区版本scheduler 任务池加载处理机制简单说明
摘要：
dremio 当前发行版本包含了已给社区版本的调度，此包的加载还是比较有意思的 参考处理机制 TaskPoolInitializer start 中会进行taskpool 的创建 @Override public void start() throws Exception { final TaskP 阅读全文
posted @ 2022-03-03 00:17 荣锋亮 阅读(75) 评论(0) 推荐(0)
dremio 社区版目前依赖的一些闭源包
摘要：
dremio 并不是100%开源的，其中就包含一些以dremio-ce 开头的包，目前这些包是在构建阶段打包进去的 但是这些包还是比较重要的，比如jdbc，es，kernel 以及scheduler 参考清单 基于20.1.0 版本的 dremio-ce-elasticsearch-plugin-2 阅读全文
posted @ 2022-03-02 20:51 荣锋亮 阅读(289) 评论(0) 推荐(0)
dremio 源码分析学习的几个方便工具
摘要：
很多时候我们需要开发自己的dremio 扩展（jdbc arp 扩展，存储扩展，格式扩展），dremio 代码相对是比较多的学习起来还是不好弄的，但是我们可以结合一些工具简化我们代码的问题 可选工具 arthas 使用此工具可以很好的了解调用链（方便对于调用链分析） jprofiler 很多时候我们 阅读全文
posted @ 2022-03-02 18:18 荣锋亮 阅读(251) 评论(0) 推荐(0)
dremio CTAS 以及DROP 功能简单说明
摘要：
dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展 可修改存储扩展接口定义 从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了 不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的 s3 阅读全文
posted @ 2022-03-02 13:15 荣锋亮 阅读(119) 评论(0) 推荐(0)
dremio 社区flight 格式化扩展说明
摘要：
实际上代码来自一个老项目，现在dremio 的变动还是很大的，项目是运行不起来的，但是还是很值得学习参考的 开发说明 formation 是基于dremio 3.0 版本，特别老的，，此版本对于reader 以及writer的处理还是很复杂的，代码量很大， 详细的可以参考代码，开发机制相对有点复杂， 阅读全文
posted @ 2022-03-02 13:11 荣锋亮 阅读(49) 评论(0) 推荐(0)
minio 支持移除server pool
摘要：
从minio 2022-01-25 版本开始，官方就支持了一种server pool 的退役操作，主要的常见是服务器资源过了生命周期（当然对于扩容，也是可以凑合使用的，只是迁移时间可能会比较长） 说明 server pool 的退役操作是永久的不能回退必须注意，后边可以测试下,很久没太关注minio 阅读全文
posted @ 2022-03-01 23:27 荣锋亮 阅读(348) 评论(0) 推荐(0)
Metriql 无头bi 工具
摘要：
Metriql 无头bi 工具,核心是基于dbt 的能力进行聚合处理 参考图 Metriql 的玩法 集成dbt 进行数据模式管理 中心化管理metrics 基于rest api，bi 工具 （bi 工具上复用了trino 、presto 驱动） 说明 Metriql 的设计还是很巧妙的，直接利用了 阅读全文
posted @ 2022-03-01 20:15 荣锋亮 阅读(405) 评论(0) 推荐(0)
dremio arrow flight 协议server实现——DremioFlightProducer代码简单介绍
摘要：
DremioFlightProducer 包含了dremio 关于arrow flight 实现的核心部分 FlightProducer 接口定义 对于producer 的实现主要是实现 FlightProducer，包含的方法如下 方法代表的意义 dremio 对于FlightProducer的实 阅读全文
posted @ 2022-03-01 18:44 荣锋亮 阅读(375) 评论(0) 推荐(0)
dremio arrow flight 协议实现——简单说明
摘要：
dremio是一直在推广arrow flight 的，很早dremio 就已经直接支持了，以下是简单的说明下具体的参考实现 arrow flight 协议实现要求 dremio 参考集成 （此图属于客户端的rpc 访问关系） 代码结构 dremio 对于arrow flight 的实现是开发了一个标 阅读全文
posted @ 2022-03-01 11:56 荣锋亮 阅读(577) 评论(0) 推荐(0)
haproxy dataplaneapi 2.5 发布
摘要：
haproxy dataplaneapi 2.5 就在几天前已经发布了，支持了不少新特性，总的来说还是稳定性提升，相对来说越来越稳定，提供官方文档也提供了一个做金融云公司的集成玩法，还是值得学习的 参考资料 https://github.com/haproxytech/dataplaneapi/re 阅读全文
posted @ 2022-03-01 11:54 荣锋亮 阅读(77) 评论(0) 推荐(0)
flightsql apache arrow sql 扩展
摘要：
flightsql 可以极大的提示列式数据库的查询性能，目前dremio 已经支持了flight rpc 了，目前稳定版本0.7 发布官方已经包含了一些代码示例了，还是值得学习的 参考玩法 集成 参考流程 说明 dremio 同时提供了不少介绍，同时性能对比图，性能提升是很明显的，预计越来越多的sq 阅读全文
posted @ 2022-02-28 22:55 荣锋亮 阅读(377) 评论(0) 推荐(0)
maven 发布test jar
摘要：
很多时候我们自己开发了一个框架（比如查询引擎），框架自身测试比较复杂（依赖不少核心，而且组件比较多）同时我们也是暴露core 让别的开发者可以很好的测试，此时我们可能就需要暴露一个test jar 了（比如dremio等一些重量级的平台工具）实际上暴露test jar 以及发布test jar 的方 阅读全文
posted @ 2022-02-28 21:32 荣锋亮 阅读(1613) 评论(0) 推荐(0)
几款开源的maven 私服
摘要：
以下整理几个开源的maven 私服，可以研究学习，内容来自 maven官方文档，而且很多轻量工具也是一个很不错的选择 参考资料 https://archiva.apache.org/https://maven.apache.org/repository-management.htmlhttps:// 阅读全文
posted @ 2022-02-28 21:31 荣锋亮 阅读(716) 评论(0) 推荐(0)
docker s6-overlay + containerpilot 对比
摘要：
参考对比 containerpilot containerpilot 实际上也是一个init 进程管理，只是提供了更多的特性，对于进程在不同状态的处理更加完备，同时集成了consul （服务发现） 同时containerpilot 使用基于配置，而且更加齐全 s6-overlay s6-overla 阅读全文
posted @ 2022-02-27 22:09 荣锋亮 阅读(557) 评论(0) 推荐(0)
linux s6 docker 集成参考
摘要：
基于s6-overlay 工具 环境准备 Dockerfile FROM ubuntu ARG S6_OVERLAY_VERSION=3.0.0.2-2 RUN apt-get update && apt-get install -y nginx xz-utils RUN echo "daemon 阅读全文
posted @ 2022-02-27 21:17 荣锋亮 阅读(572) 评论(0) 推荐(0)
linux s6 管理工具
摘要：
s6 是一个管理服务进程的工具，功能还是很强大的，比如gos 就使用s6做为服务进程的管理，没有使用类似supervisor 的工具同时社区也提供了一个让容器更好支持s6 的扩展，对于希望进行容器运行多服务的场景还是值得使用的 参考资料 https://github.com/skarnet/s6-l 阅读全文
posted @ 2022-02-27 20:32 荣锋亮 阅读(647) 评论(0) 推荐(0)
nfs-ganesha linux 用户态文件nfs服务
摘要：
nfs-ganesha 是在用户态的一个nfs 服务服务，支持nfsv3，v4，v41，v4.2协议 参考架构 说明 从官方介绍，以及社区的活跃程度，nfs-ganesha 还是一个不错的选择 参考资料 https://github.com/nfs-ganesha/nfs-ganeshahttps: 阅读全文
posted @ 2022-02-27 00:35 荣锋亮 阅读(568) 评论(0) 推荐(0)
apache pinot 学习
摘要：
apache pinot 是一个很不错的olap 服务，功能强大，低延迟，包含了实时以及离线处理 支持的特性 非常快（支持离线以及实时处理） 水平扩展（基于了apache helix 框架） 插件化索引，包含sorted index，bitmap index,invertes index, star 阅读全文
posted @ 2022-02-26 22:34 荣锋亮 阅读(667) 评论(0) 推荐(0)
pinot jdbc 连接池工具使用说明
摘要：
apache pinot 是一个很不错高性能的实时分析工具，同时提供了sql 查询能力，官方的jdbc 就是基于rest 包装的sql 查询 目前的问题 官方是基于sql +rest api （java client） 进行的jdbc 驱动开发，对于一些不支持的特性直接会跑出异常，这些很容易造成 好 阅读全文
posted @ 2022-02-26 18:30 荣锋亮 阅读(265) 评论(0) 推荐(0)
dremio job 处理流程参考
摘要：
内容来自官方文档，可以了解dremio对于job 的处理 参考图 流程图 说明 上图还是比较有意义的，可以了解dremio内部的一些处理机制，以及状态转换，同时官方文档也包含了job的性能参数 参考资料 https://docs.dremio.com/cloud/querying-data/jobs 阅读全文
posted @ 2022-02-26 14:51 荣锋亮 阅读(82) 评论(0) 推荐(0)
dremio cloud 分层datasets 实践
摘要：
内容来自官方文档，主要是一种玩法 流程 底层或者第一层，主要包含物理数据集 第二层是虚拟数据集，属于一个基于上层进行了简单的数据加工处理（类型转换，字段重明），同时提供一些安全控制 第三层，用户进行数据的join 以及其他昂贵操作，此层属于数据密集操作，一般会包含数据反射的添加（原始反射以及聚合反射 阅读全文
posted @ 2022-02-26 14:33 荣锋亮 阅读(73) 评论(0) 推荐(0)
浙公网安备 33010602011771号