荣锋亮 - 博客园

caddyserver step-ca 集成

摘要：最近在学习caddy2 的一些新特性，以前大致看过step-ca 这个强大的证书管理工具，所以集成caddy+step-ca 的acme 进行测试下因为acme 需要对于dns 进行校验，但是因为自己是本地测试，解决方法有：修改本地hosts 文件，后者配置自己的dns server ，对于自己阅读全文

posted @ 2023-01-24 20:52 荣锋亮阅读(470) 评论(0) 推荐(0)

coredns mysql 扩展使用+readyset 试用

摘要：基于db 进行dns 记录的管理还是比较有用的，尤其在一些开发环境中，以下是一个使用同时也会尝试集成readyset（但是木有成功，应该是mysql 编码兼容的问题）添加&构建插件方法比较简单，官方有比较完整的文档说明，主要就是修改plugin.cfg 文件，同时通过go get 获取插件，然阅读全文

posted @ 2023-01-23 19:18 荣锋亮阅读(359) 评论(0) 推荐(0)

caddyserver nginx adaper 简单说明

摘要： caddyserver 包含了一个强大的adapter 架构设计，我们可以方便的进行 caddyserver 扩展 nginx 扩展的处理核心也是基于adapter 模块扩展的，通过解析nginx.conf 文件，然后转换为json 格式内容参考处理 func init() { // 注册Adap 阅读全文

posted @ 2023-01-23 11:18 荣锋亮阅读(198) 评论(0) 推荐(0)

dremio web sql api 执行简单说明

摘要：通过web sql 直接我们可以了解一些dremio 查询执行的处理，对于web sql 执行来说如果从实际来说应该包含了两类: 通过rest api 执行sql 的以及通过web ui 操作的 rest api sql 执行 sql 查询流程为: 先提交任务，然后通过任务id 或者sql 执行的状阅读全文

posted @ 2023-01-22 23:20 荣锋亮阅读(149) 评论(0) 推荐(0)

dremio api 简单说明

摘要：以前在简单介绍dremio webserver 的时候提过dremio 的api，实际上包含了两大部分，一个是为了bff的（方便前端使用的），一个是独立的rest api 方便业务调用的（实际上就是官方文档中看到的）接口开发处理 rest api 以及bff api 都是基于jax-rs 标准开发阅读全文

posted @ 2023-01-22 20:49 荣锋亮阅读(118) 评论(0) 推荐(0)

pulp_ansible galaxy 私服工具

摘要： pulp_ansible 可以帮助我们创建私有的galaxy 包含的特性按需镜像部分roles 镜像多有galaxy roles 按需存储私有ansible roles 使用 ansible-galaxy cli 通过pulp_ansible 安装roles 基于时间的版本化role 内容，可以进阅读全文

posted @ 2023-01-21 23:56 荣锋亮阅读(41) 评论(0) 推荐(0)

readyset 轻量级pg 以及mysql 缓存引擎

摘要： readyset是基于rust 开发的pg 以及mysql 轻量级缓存服务参考玩法如下图说明 readyset 一些设计还是很有意思的，很值得学习，同时也可以在项目中尝试使用参考资料 https://github.com/readysettech/readysethttps://docs.r 阅读全文

posted @ 2023-01-21 23:09 荣锋亮阅读(438) 评论(0) 推荐(0)

typesafe config 简单试用

摘要：以前我简单介绍过dremio 关于typesafe config 的使用说明，还是比较强大的，以下是一个简单的学习使用项目配置参考图内容 application.conf 会引用defaultvalues.conf，dremio 会自动帮助我们处理 application.conf inclu 阅读全文

posted @ 2023-01-21 23:04 荣锋亮阅读(227) 评论(0) 推荐(0)

dremio 的 telemetry 处理简单说明

摘要： dremio 实际上添加了支持基于opentelemetry 的监控处理,代码处理上官方是已经支持了metrics ，当然也是支持trace的参考处理机制处理上基于了配置，同时利用了jackson 多太类型处理，以及基于spi模块加载机制配置加载包装了TelemetryConfigurato 阅读全文

posted @ 2023-01-21 22:56 荣锋亮阅读(115) 评论(2) 推荐(0)

dremio ClusterCoordinator 服务简单说明

摘要： dremio ClusterCoordinator 主要是处理集群任务协商的，比如那些服务可以在什么节点上运行，以及对于查询具体这么执行，对于元数据应该如果存储以及元数据如何进行刷新，同时还包含了节点的任务处理相关实现类目前官方包含了基于zk的软件运行模式，以及本地集群模式的，当然好包含了一个方阅读全文

posted @ 2023-01-21 17:59 荣锋亮阅读(44) 评论(0) 推荐(0)

cratedb 支持游标了

摘要：好久没太关注cratedb了，就在最近看了下发现支持游标了，还是很强大的，值得体验试用下，以前我在尝试集成cratedb 与hasura 的时候发现了一些问题，从目前的一些特殊，似乎是可以尝试下集成（同时hasura 的元数据服务与纳管的数据库也已经分离了）参考资料 https://crate.i 阅读全文

posted @ 2023-01-20 23:28 荣锋亮阅读(30) 评论(0) 推荐(0)

dremio backend webserver 简单说明

摘要： dremio 的webserver 是基于jetty+jersey 开发的web server 同时也和标准的dremio 服务一样实现了service 接口方便服务的启动具体是由DACDaemon 调用触发的启动 webserver start 服务 @Override public void 阅读全文

posted @ 2023-01-20 22:43 荣锋亮阅读(51) 评论(0) 推荐(0)

dremio daemon 的admin 管理cli 简单说明

摘要： admin cli 提供了对于dremio 维护的能力，包含了备份，清理元数据，导出profile，nessie 维护，恢复，更新kv 存储、重置密码。。。修复acl （企业版特性）参考代码处理基于了注解以及类扫描机制代码 public static void main(String[] a 阅读全文

posted @ 2023-01-20 17:33 荣锋亮阅读(93) 评论(0) 推荐(0)

dremio DACModule 模块简单说明

摘要： DACModule 核心是进行dac 一个帮助类，进行一些依赖的处理，方便在DACDaemon 中使用，同时官方为了支持自定义基于动态类创建进行了扩展（DremioDaemon 处理的）接口定义参考类图备注：会发现包含两个SingletonRegistry （bootstrap的以及一个普阅读全文

posted @ 2023-01-20 10:55 荣锋亮阅读(61) 评论(0) 推荐(0)

dremio DACDaemon 简单说明

摘要：通过DremioDaemon 我们知道dremio 服务的启动时通过DACDaemon 处理的 DACDaemon的启动 <wiz_code_mirror> // 包含了DACConfig，模块的类扫描结果， DACModule 模块实现（可以通过配置选择的，比如自定义自己的） DACDaemon. 阅读全文

posted @ 2023-01-19 22:30 荣锋亮阅读(34) 评论(0) 推荐(0)

dremio DremioDaemon 简单说明

摘要： DremioDaemon 的核心是启动dremio服务同时进行一些依赖的注入简单启动说明包含了自动更新处理（主要是kv 存储的，后边会介绍dremio 一些任务）查找DACModule创建类，并初始化内部包含的服务（不少是基于dremio 的service 机制启动的），等待jvm 退出，并处阅读全文

posted @ 2023-01-19 20:32 荣锋亮阅读(38) 评论(0) 推荐(0)

dremio 的配置处理简单说明

摘要： dremio 的配置基于了typesafe 的config 参考配置模块级别的配置 sabot-module.conf dremio.classpath.scanning { base.classes += "com.dremio.dac.cmd.upgrade.UpgradeTask" pack 阅读全文

posted @ 2023-01-19 15:54 荣锋亮阅读(121) 评论(0) 推荐(0)

dremio DACModule 模块加载简单说明

摘要： dremio DACModule 主要是模块加载初始化以及组合，是一个比较重要的模式，同时也支持基于配置进行加载（有点很多了，后边简单介绍）加载机制支持配置加载可以通过dremio 运行配置文件添加dremio.daemon.module.class 支持 services: { coordi 阅读全文

posted @ 2023-01-19 11:56 荣锋亮阅读(44) 评论(0) 推荐(0)

maven flatten-maven-plugin 插件简单说明

摘要： maven flatten-maven-plugin 是一个比较有意思的项目，核心是对于我们发布的包提供一些简洁清晰的使用，去除掉哪些没用的（比如父pom 信息，profile 信息。。。）参考使用 maven flatten-maven-plugin 使用比较简单，就是添加插件，几个简单配置就阅读全文

posted @ 2023-01-17 23:21 荣锋亮阅读(1648) 评论(0) 推荐(0)

maven maven-assembly-plugin 开发自己的descriptorRef

摘要：日常中大家应该使用过maven-assembly-plugin 进行软件打包，maven-assembly-plugi 内部已经提供了几个开箱即用的descriptorRef，主要是: bin,jar-with-dependencies,project,src 实际处理可以参考插件源码，我们一般都阅读全文

posted @ 2023-01-17 23:14 荣锋亮阅读(912) 评论(0) 推荐(0)

dremio distribution 模块简单说明

摘要：以下简单说明下dremio distribution，distribution 核心是进行项目的发布，这种模式经常在apache 类似项目中看到参考项目结构简单说明 jdbc-driver 还是是对于jdbc 驱动的处理，实际上在dremio 的client/jdbc 中已经包含了jdbc 驱动阅读全文

posted @ 2023-01-17 19:57 荣锋亮阅读(61) 评论(0) 推荐(0)

dremio dac 模块简单说明一

摘要： dremio dac 模块在官方的定义中是dremio 分析中心的意思，代码上包含了，backend，common,daemon, ui 模块的功能 backend dremio 的server 部分，在构建打包之后会包含ui 部分的组件（前端），基于jersey 开发的web server ioc 阅读全文

posted @ 2023-01-17 19:30 荣锋亮阅读(93) 评论(0) 推荐(0)

step-ca 测试试用

摘要：环境准备 docker-compose version: '3' services: ca: image: smallstep/step-ca ports: - 9000:9000 environment: - DOCKER_STEPCA_INIT_NAME=dalongrong - DOCKER_ 阅读全文

posted @ 2023-01-15 21:30 荣锋亮阅读(461) 评论(0) 推荐(0)

smallstep certificates 开源ca 管理工具

摘要： smallstep certificates 开源ca 管理工具包含的特性快速初始化内部pki 安全的处理证书边界的自己重新申请强大的集成能力，包含了cli 工具，以及api，同时可以很好的集成到ci/cd 中说明 hashicorp 的vault 是一个类似的pki 管理工具，同时cad 阅读全文

posted @ 2023-01-15 10:12 荣锋亮阅读(472) 评论(0) 推荐(0)

caddyserver 新架构

摘要：好久没有太关注caddyserver了，今天在查看dgraph cloud的时候发现dgraph cloud 就使用了caddyserver 做为自己的api server，然后仔细看了下新版本caddyserver 的一些特性，发现真的很强大了支持的新特性 live 配置api 高效，简单支持阅读全文

posted @ 2023-01-14 22:04 荣锋亮阅读(74) 评论(0) 推荐(0)

sysend.js 跨浏览器tabs 同步类库

摘要： sysend.js 提供了跨浏览器tabs 数据同步的能力，利用了不少浏览器的特性 (localstoreage api 以及broadcastchannel api) 参考使用 index.html <!DOCTYPE html> <html lang="en"> <head> <meta cha 阅读全文

posted @ 2023-01-13 17:09 荣锋亮阅读(154) 评论(0) 推荐(0)

maven java.lang.IllegalArgumentException: Malformed \uxxxx encoding 问题解决

摘要：网上应该是不少类似的解决方法，主要是记录下，核心是删除解析有问题的包参考命令 find <path to maven local repo > -name resolver-status.properties -delete 参考资料 https://stackoverflow.com/quest 阅读全文

posted @ 2023-01-13 13:14 荣锋亮阅读(0) 评论(0) 推荐(0)

dremio FragmentExecutor 的执行顺序简单说明

摘要： dremio 在执行计划物理计划转换之后，对于执行计划会包含不同的fragment，fragment 会组成一颗树，包含了PlanFragmentMajor以及PlanFragmentMinor 对于组成的树之后dremio 就需要调度执行了（里边会包含资源分配，优先级，运算操作,大致处理可以参考d 阅读全文

posted @ 2023-01-13 11:28 荣锋亮阅读(70) 评论(0) 推荐(0)

dremio ConduitServer 简单说明

摘要： ConduitServer 是基于grpc 开发的服务，通过提供的ConduitServiceRegistry 进行定义服务的注册实现并注册的服务参考下图，都是grpc 的实现，可以看出包含了不少，比如datasetcatalog，informationschema，option，nessise 阅读全文

posted @ 2023-01-13 11:26 荣锋亮阅读(53) 评论(0) 推荐(0)

dremio FabricServer 服务简单说明

摘要： FabricServer 主要是对于dremio内部rpc 的通信，包含了调度节点与执行节点的通信以及内部的一些命令处理 FabricServer 是通过FabricServiceImpl 进行实际服务的创建管理（dremio 服务组件的一个套路实现了service 接口会包含start 方法）阅读全文

posted @ 2023-01-12 19:39 荣锋亮阅读(53) 评论(0) 推荐(0)

apache drill rpc 简单说明

摘要： drill 是基于netty 4 做为rpc的底层处理，同时基于了 protobuf 进行通信层的处理（减少堆数据的传输）客户端以及server 都利用了CompleteRpcMessage protobuf 消息包装进行request，response 以及errors 处理通信是使用流模式进行阅读全文

posted @ 2023-01-12 17:02 荣锋亮阅读(55) 评论(0) 推荐(0)

dremio FragmentStarter 简单说明

摘要： FragmentStarter 主要进行FragmentExecutor的启动管理 Fragment 执行简单说明 dremio 对于Fragment的执行与apache drill 是一致的，会包含root，中间，以及leaf，同时Fragment 会包含 major 以及 minor fragm 阅读全文

posted @ 2023-01-11 20:57 荣锋亮阅读(54) 评论(0) 推荐(0)

dremio PhysicalPlanReader 简单说明

摘要： dremio 在经过sql 解析，sql转换，优化器，物理执行计划，会包含一个基于jackson序列化的格式的执行计划信息（整体与drill是类似的）提供的能力注册自定义的jackson 序列化处理模块（包含了protobuf），以及子类型（connectionReader 以及Physical 阅读全文

posted @ 2023-01-11 19:49 荣锋亮阅读(44) 评论(0) 推荐(0)

cdc-file-transfer 使用说明

摘要： cdc-file-transfer 主要是场景是windows 到linux 主机的数据同步，包含了stream 以及rsync 两大工具使用注意事项首次执行会进行server copy，但是目前有点问题，如下，通过测试似乎和openssh 版本有关系，使用最新的没发现问题 linux serv 阅读全文

posted @ 2023-01-10 17:10 荣锋亮阅读(387) 评论(1) 推荐(1)

cdc-file-transfer 谷歌开源的windows 到linux 同步工具

摘要： cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于阅读全文

posted @ 2023-01-10 13:18 荣锋亮阅读(253) 评论(0) 推荐(0)

dremio ctas 内部原理简单说明

摘要： ctas 从使用上就是一个sql 操作，dremio 会基于sql 生成逻辑计划，然后到物理计划，之后到执行计划，然后会转变为对于支持写入操作数据源的操作（目前包括了parquet 格式以及iceberg格式）, 当前对于支持CTAS 的主要是分布式存储（NAS，对象存储。。。）.我以前简单说明阅读全文

posted @ 2023-01-10 12:52 荣锋亮阅读(108) 评论(0) 推荐(0)

dremio FormatMatcher 简单说明

摘要： FormatMatcher 核心是对于文件系统进行进行格式匹配，方便查询以及执行引擎了解具体支持的数据格式，进行实际数据的处理每个FormatPlugin 都需要包含一个格式化匹配器参考类图 IcebergFormatMatcher 参考处理参考iceberg table 格式参考代码 /* 阅读全文

posted @ 2023-01-10 11:59 荣锋亮阅读(40) 评论(0) 推荐(0)

dremio cloud 参考架构

摘要：实际上以前官方包含了一些简单的介绍，但是后边似乎把相关的图删除了，但是官方还是提供了一个白皮书，里边包含了比较完整的介绍参考架构概览总的包含了控制面板（dremio vpc 的能力）以及执行面板（用户vpc），控制面板会包含权限，sql ，ui，rest api ，引擎管理，计划，job p 阅读全文

posted @ 2023-01-09 11:55 荣锋亮阅读(123) 评论(0) 推荐(0)

neon serverless postgres 简单试用

摘要：内容来自官方的docker-compose 内容，主要是测试试用参考架构从以上图可以看出，neon 应该包含了几个组件，safekeeper，pageserver，计算节点，以及对象存储，运行的服务也是参考此部署的，safekeeper 需要至少3个节点实现了选举机制，内部试用了部署dock 阅读全文

posted @ 2023-01-08 12:39 荣锋亮阅读(715) 评论(0) 推荐(0)

dremio singlestore arp 扩展

摘要：此插件来自singlestore官方的，基于了dremio 23.1 版本开发 conf 配置类 @SourceType(value = "SINGLESTOREARP", label = "SingleStore", uiConfig = "singlestore-layout.json", ex 阅读全文

posted @ 2023-01-08 11:13 荣锋亮阅读(43) 评论(0) 推荐(0)

导航

公告