2023年2月7日

编译flannel 支持VNI 扩展

摘要： 实际上属于一个业务问题，有几个k8s 环境，有一个外部服务需要通过rpc 访问k8s 内部的服务，以前是通过 部署了与一个环境一样的flannel 服务，可以保证外部服务与k8s pod 是可以通的，但是现在需要与另外一套环境 的k8s pod 也可以通 参考图 问题 我们实际是希望可以在vm中可以 阅读全文

posted @ 2023-02-07 13:11 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2023年2月5日

dremio DacDaemonYarnApplication 简单说明

摘要： DacDaemonYarnApplication 属于dremio 通过twill 集成yarn 的应用指南定义，核心是实现了标准的TwillApplication接口 前边有简单说过twill 的运行，一个是通过实现TwillRunnable 接口的，还有一个就是实现TwillApplicatio 阅读全文

posted @ 2023-02-05 11:05 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

apache twill 开发参考流程

摘要： 尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持 参考开发流程 TwillRunnable 接口 类似多线程开发，我们实现此接口的服务主要就是任务的处理 public class EchoServer imple 阅读全文

posted @ 2023-02-05 10:52 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2023年2月4日

tracetest 基于trace 生成端到端测试的框架

摘要： tracetest 是基于OpenTelemetry 工具，设计上还是很有意思的，可以使用此工具进行分布式系统的测试 支持的特性 可以直接使用现有的OpenTelemetry周边工具，包含了jaeger， 以及grafana tempo 支持多种测试，比如http，grpc，以及postman 的c 阅读全文

posted @ 2023-02-04 22:37 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dremio AppBundleRunner 简单说明

摘要： AppBundleRunner 的作用 运行通过AppBundleGenerator 生成的jar 加载上边jar 相关依赖到类加载器中 初始化实例，并调用main 方法 同时还包含运行实例的停止 参考处理说明 类加载处理 实际上是load 方法，通过解析jar 元数据信息，同时也会进行jar 的解 阅读全文

posted @ 2023-02-04 22:09 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

dremio yarn 集成之 AppBundleGenerator 简单说明

摘要： AppBundleGenerator 的目的是方便yarn 应用的运行，dremio 自己开发了一个方便软件打包的服务，可以简化 参考处理 默认生成的jar 包名称dremio-bundle.jar public Path generateBundle() throws IOException { 阅读全文

posted @ 2023-02-04 21:20 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

dremio 的 YarnDaemon 简单说明

摘要： YarnDaemon 与DremioDaemon 基本类似，都是启动dremio 服务，只是YarnDaemon 更多是关于执行器节点的运行模式与 DremioDaemon 差异比较大，DremioDaemon 就是一个long running 任务，但是YarnDaemon 实际上是一个由线程调度 阅读全文

posted @ 2023-02-04 13:08 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2023年2月1日

mtools mongo 日志分析的利器

摘要： mtools 是一个专门用来分析mongo 日志的工具基于python 编写，功能还是很强大的 包含的工具集 mlaunch 快速构建mongo 环境的工具，比较方便进行功能测试 mlogfilter 进行日志过滤的，很强大，支持的功能不少，几个比较有用的： 基于时间过滤，慢查询过滤，特定操作过滤， 阅读全文

posted @ 2023-02-01 21:21 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

nginx agent 来自官方的nginx 配置管理&监控方案

摘要： 我以前介绍过使用git+api 模式的nginx 配置管理，同时还介绍过一个基于graylog 的日志收集方案，nginx agent 是nginx 官方提供的nginx 配置以及metrics 监控解决方案 包含的特性 配置管理 nginx 以及操作系统metrics收集 nginx 通知事件 g 阅读全文

posted @ 2023-02-01 20:46 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

2023年1月31日

dremio 23 版本反射问题最新说明

摘要： 此问题，官方已经确认是在进行反射替换的时候有问题，同时预计会在24 版本解决，但是目前暂时还没有发布（官方对于社区版的支持不是很好。。。。） 参考资料 https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-mi 阅读全文

posted @ 2023-01-31 22:56 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

dremio provision 模式功能简单说明

摘要： 目前此功能主要是支持yarn 等资源调度的，在dremio 系统中名称为弹性引擎 ProvisioningService 服务接口定义 参考类图 不同类型的实现 具体操作是由ProvisioningServiceDelegate定义进行操作的，并在dremio 启动的时候会包含相关服务能力的创建，因 阅读全文

posted @ 2023-01-31 22:51 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

dremio provisioning 几种模式简单介绍

摘要： 主要是包含了基于云以及yarn 模式的部署 aws eks azure arm azure aks yarn 模式 标准集群模式 说明 以上集中模式包含了软件以及在云端部署的（与cloud 模式是不一样的），而且从dremio 目前的发展来说软件模式的基本不太推荐了，主要是cloud 模式了差异性还 阅读全文

posted @ 2023-01-31 21:17 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月30日

jd-gui mac 运行needs Java "1.8+" 问题

摘要： 说明此问题网上已经有不少解决方法了，主要是记录下，我运行出现问题的原因是因为升级了操作系统，同时调整sdkman 默认java 版本信息（以前调整java 版本信息也是木有问题的） 快速解决方法参考如下图 就是调整java 1.8+ 为 1.8 参考资料 https://github.com/jav 阅读全文

posted @ 2023-01-30 20:41 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2023年1月29日

dremio ioc 机制简单说明

摘要： dremio 对于服务的依赖管理以及处理没有直接使用google guice，而是dremio 自己包装了一个类似guice的ioc 能力 提供的能力说明 因为对于ioc 来说需要包含不同的几种服务注入模式（属性注入，构造函数注入），服务也会包含不同的scope （单例，实例，provider模式） 阅读全文

posted @ 2023-01-29 21:34 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月28日

通过DACModule 模块学习dremio 服务模块依赖关系之 bootstrap

摘要： 以前有简单介绍过dremio 的DACModule 模块，核心就是进行服务的启动以及依赖管理维护，接口实现了包含了bootstrap 以及build 区别在于bootstrap管理的是一些需要提前准备好的服务（比如协调服务，master 选举服务，还有就是一些引擎相关的，但是社区版没有实现） boo 阅读全文

posted @ 2023-01-28 20:49 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月27日

使用provisio-maven-plugin+ airlift launcher 开发类似trino 的运行包

摘要： 如果运行过trino 或者presto 会发现比较方便，配置放的特别清晰，而且包含了方便的cli 工具，实际上trino 或者presto 内部也是基于了 provisio-maven-plugin+ airlift launcher 进行软件包处理的 参考打包配置 参考项目可以与阅读trino 或 阅读全文

posted @ 2023-01-27 20:43 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

airlift 简单试用

摘要： airlift 使用简单，而且周边集成也不少，只是官方文档比较少，使用最多的也是trino 以及presto 中，trino 代码基于airlift 框架的开发代码看起来是 很简洁的 项目结构 ├── README.md ├── app # 实际应用，使用airlift 开发的，包含了静态页面以及简 阅读全文

posted @ 2023-01-27 19:52 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月26日

airlift java rest 服务框架

摘要： airlift 是一个轻量，快速的java rest 服务开发框架，属于trino 的基础框架，airlift 集成了不少轻量的工具包同时包含了不少不错的实践（比如配置管理，组件生命周期管理，http 客户端，数据库链接池，http server，并行，日志，打包） 说明 如果需要开发一个快速的ja 阅读全文

posted @ 2023-01-26 20:34 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

2023年1月25日

caddyserver 架构简单说明

摘要： 内容来自官方文档，通过了解可以更好的学习以及使用caddyserver 概述 caddy 包含了command，core library，以及modules，command 主要是关于cli 命令的core library 主要进行配置管理，可以Run() 以及Stop() 相关配置，同时也提供了一 阅读全文

posted @ 2023-01-25 15:18 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

caddyserver 生产运行一种玩法实践

摘要： 实际上就是一个尝试，毕竟如果生产使用了caddyserver 做为一些核心业务只是需要做不少考虑的 参考图 备注：以上图是基于自建acme 服务处理的（比较适合内部服务），因为caddyserver 同时存储tls 配置以及基于api 的配置，所有对于单机部署模式有一些调整，后边介绍 集成说明 ac 阅读全文

posted @ 2023-01-25 14:25 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

cube.js 一些变动

摘要： cube.js 整体的机制是没有调整的，但是目前从官方介绍可以看出，已经从以前的无头bi 调整为了语义层了，这个也说明了cube.js 在数据处理能力上更加强大了 一张参考图 说明 目前cube.js 支持的数据源，以及集成玩法也越来越多了，比如基于sql 层与大数据周边工具，基于graphql a 阅读全文

posted @ 2023-01-25 12:26 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

caddyserver 几个有用的配置参数

摘要： 不是介绍caddyserver 的配置参数，核心是关于ssl 证书以及配置存储存储的几个参数 XDG_DATA_HOME 主要是关于caddyserver 基于acme 协议处理证书的，比较有用，可以更好的管理证书存储的位置 XDG_CONFIG_HOME 主要是关于基于api 配置的应用信息，当我 阅读全文

posted @ 2023-01-25 10:33 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2023年1月24日

Docker 容器添加自定义root ca

摘要： 比如如果我们基于了step-ca 工具做为我们的ca 机制，就会有不可信的问题，业务使用就特别不方便了，以下是一个参考配置 实际上很简单就是使用update-ca-certificates 更新信息 参考镜像 FROM nginx:latest COPY root_ca.crt /usr/local 阅读全文

posted @ 2023-01-24 22:47 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

step-ca ha 模式说明

摘要： step-ca是一个很不错的开源ca 管理工具，但是如果实际使用就存在ca 的问题 ，实际上官方也说明了ha 的玩法，但是因为step-ca 在架构设计上并不是完全分布式的，所以还是有一些问题的 主要的问题 多实例数据共享（比如ca，acme 信息），就需要一个db了，推荐pg 或者mysql in 阅读全文

posted @ 2023-01-24 22:28 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

caddyserver step-ca 集成

摘要： 最近在学习caddy2 的一些新特性，以前大致看过step-ca 这个强大的证书管理工具，所以集成caddy+step-ca 的acme 进行测试下 因为acme 需要对于dns 进行校验，但是因为自己是本地测试，解决方法有：修改本地hosts 文件，后者配置自己的dns server ，对于 自己 阅读全文

posted @ 2023-01-24 20:53 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

2023年1月23日

coredns mysql 扩展使用+readyset 试用

摘要： 基于db 进行dns 记录的管理还是比较有用的，尤其在一些开发环境中，以下是一个使用 同时也会尝试集成readyset（但是木有成功，应该是mysql 编码兼容的问题） 添加&构建插件 方法比较简单，官方有比较完整的文档说明，主要就是修改plugin.cfg 文件，同时通过go get 获取插件，然 阅读全文

posted @ 2023-01-23 19:19 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

caddyserver nginx adaper 简单说明

摘要： caddyserver 包含了一个强大的adapter 架构设计，我们可以方便的进行 caddyserver 扩展 nginx 扩展的处理核心也是基于adapter 模块扩展的，通过解析nginx.conf 文件，然后转换为json 格式内容 参考处理 func init() { // 注册Adap 阅读全文

posted @ 2023-01-23 11:19 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2023年1月22日

dremio web sql api 执行简单说明

摘要： 通过web sql 直接我们可以了解一些dremio 查询执行的处理，对于web sql 执行来说如果从实际来说应该包含了两类: 通过rest api 执行sql 的以及通过web ui 操作的 rest api sql 执行 sql 查询流程为: 先提交任务，然后通过任务id 或者sql 执行的状 阅读全文

posted @ 2023-01-22 23:20 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio api 简单说明

摘要： 以前在简单介绍dremio webserver 的时候提过dremio 的api，实际上包含了两大部分，一个是为了bff的（方便前端使用的），一个是独立的rest api 方便业务调用的（实际上就是官方文档中看到的） 接口开发处理 rest api 以及bff api 都是基于jax-rs 标准开发 阅读全文

posted @ 2023-01-22 20:49 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月21日

pulp_ansible galaxy 私服工具

摘要： pulp_ansible 可以帮助我们创建私有的galaxy 包含的特性 按需镜像部分roles 镜像多有galaxy roles 按需存储私有ansible roles 使用 ansible-galaxy cli 通过pulp_ansible 安装roles 基于时间的版本化role 内容，可以进 阅读全文

posted @ 2023-01-21 23:57 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

readyset 轻量级pg 以及mysql 缓存引擎

摘要： readyset是基于rust 开发的pg 以及mysql 轻量级缓存服务 参考玩法 如下图 说明 readyset 一些设计还是很有意思的，很值得学习，同时也可以在项目中尝试使用 参考资料 https://github.com/readysettech/readysethttps://docs.r 阅读全文

posted @ 2023-01-21 23:10 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

typesafe config 简单试用

摘要： 以前我简单介绍过dremio 关于typesafe config 的使用说明，还是比较强大的，以下是一个简单的学习使用 项目配置 参考图 内容 application.conf 会引用defaultvalues.conf，dremio 会自动帮助我们处理 application.conf inclu 阅读全文

posted @ 2023-01-21 23:05 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio 的 telemetry 处理简单说明

摘要： dremio 实际上添加了支持基于opentelemetry 的监控处理,代码处理上官方是已经支持了metrics ，当然也是支持trace的 参考处理机制 处理上基于了配置，同时利用了jackson 多太类型处理，以及基于spi模块加载机制 配置加载 包装了TelemetryConfigurato 阅读全文

posted @ 2023-01-21 22:57 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dremio ClusterCoordinator 服务简单说明

摘要： dremio ClusterCoordinator 主要是处理集群任务协商的，比如那些服务可以在什么节点上运行，以及对于查询具体这么执行，对于元数据应该如果存储以及元数据如何进行刷新，同时还包含了节点的任务处理 相关实现类 目前官方包含了基于zk的软件运行模式，以及本地集群模式的，当然好包含了一个方 阅读全文

posted @ 2023-01-21 17:59 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2023年1月20日

cratedb 支持游标了

摘要： 好久没太关注cratedb了，就在最近看了下发现支持游标了，还是很强大的，值得体验试用下，以前我在尝试集成cratedb 与hasura 的时候发现了一些问题，从目前的一些特殊，似乎是可以尝试下集成（同时hasura 的元数据服务与纳管的数据库也已经分离了） 参考资料 https://crate.i 阅读全文

posted @ 2023-01-20 23:29 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dremio backend webserver 简单说明

摘要： dremio 的webserver 是基于jetty+jersey 开发的web server 同时也和标准的dremio 服务一样实现了service 接口方便服务的启动 具体是由DACDaemon 调用触发的启动 webserver start 服务 @Override public void 阅读全文

posted @ 2023-01-20 22:44 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dremio daemon 的admin 管理cli 简单说明

摘要： admin cli 提供了对于dremio 维护的能力，包含了备份，清理元数据，导出profile，nessie 维护，恢复，更新kv 存储、重置密码。。。 修复acl （企业版特性） 参考代码处理 基于了注解以及类扫描机制 代码 public static void main(String[] a 阅读全文

posted @ 2023-01-20 17:33 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

dremio DACModule 模块简单说明

摘要： DACModule 核心是进行dac 一个帮助类，进行一些依赖的处理，方便在DACDaemon 中使用，同时官方为了支持自定义 基于动态类创建进行了扩展（DremioDaemon 处理的） 接口定义 参考类图 备注： 会发现包含两个SingletonRegistry （bootstrap的以及一个普 阅读全文

posted @ 2023-01-20 10:55 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2023年1月19日

dremio DACDaemon 简单说明

摘要： 通过DremioDaemon 我们知道dremio 服务的启动时通过DACDaemon 处理的 DACDaemon的启动 <wiz_code_mirror> // 包含了DACConfig，模块的类扫描结果， DACModule 模块实现（可以通过配置选择的，比如自定义自己的） DACDaemon. 阅读全文

posted @ 2023-01-19 22:30 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

dremio DremioDaemon 简单说明

摘要： DremioDaemon 的核心是启动dremio服务同时进行一些依赖的注入 简单启动说明 包含了自动更新处理（主要是kv 存储的，后边会介绍dremio 一些任务） 查找DACModule创建类，并初始化内部包含的服务（不少是基于dremio 的service 机制启动的），等待jvm 退出，并处 阅读全文

posted @ 2023-01-19 20:32 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

下一页

导航