荣锋亮 - 博客园

nats client_advertise advertise cluster_advertise 参数

摘要： nats 的几个参数还是比较有意思的，但是也比较容易误解，在leaf 节点，cluster，gateway 模式中都有这几个参数，但是不同的场景次参数意义也不太一样 cluster 模式 client_advertise 主要是在集群部署的时候，同时我们如果是在nat 环境（或者云环境），需要暴露公阅读全文

posted @ 2025-12-14 11:57 荣锋亮阅读(3) 评论(0) 推荐(0)

dremio mysql utf8mb4 union 字符编码问题一

摘要：因为新的不少数据库都使用了utf8mb4编码了，以前就知道有此问题，但是最近有人反馈此问题，而且影响一些操作，然后就专门研究了下，发现核心是dremio 在处理mysql 连接字符串的时候附加了一些不太一样的东西，造成sql 执行不正常，它的sql 是生成正确的，而且生成的sql 实际是可以直接运行阅读全文

posted @ 2025-12-13 12:17 荣锋亮阅读(0) 评论(0) 推荐(0)

记录一个dremio 物化存储异常问题

摘要：最近碰到一个比较有意思的dremio问题，异常信息如下，造成的现象是dremio 已经无法提交任务了，基本过60s 会有如下的信息异常信息如下 com.dremio.common.exceptions.UserException: Timed out waiting for materializa 阅读全文

posted @ 2025-12-12 08:00 荣锋亮阅读(3) 评论(0) 推荐(0)

zerofs 多实例访问问题二

摘要：看到最近0.18.0的发布zerofs 已经支持多实例的read-only了，上次反馈的问题也已经解决了，当前测试的现象是符合预期的，30s 左右read-only 数据会刷新在read-only 节点看到数据说明单写，多实例read-only 是一个很不错的功能，很值得尝试下参考资料 htt 阅读全文

posted @ 2025-12-11 08:11 荣锋亮阅读(5) 评论(0) 推荐(0)

ncc 动态require 被webpack的require替换的一些解决方法

摘要：是实际存在的一个业务问题，我们希望模块是动态加载的，而不是被直接打包的使用eval("require")处理尽管不是很推荐，但是实际很有效，也是ncc 自己内部一些场景的玩法 module.exports = eval("require")("edgecommon"); 使用变量将需要动态导入阅读全文

posted @ 2025-12-10 08:00 荣锋亮阅读(4) 评论(0) 推荐(0)

zerofs 多实例访问的问题

摘要：尽管zerofs 支持了多实例访问，但是实际体验下来并不是很友好，主要是多reader 可见性的问题，毕竟有lsm 还需要flush 问题如果需要立即可见，服务是需要重启，或者等待写入的数据达到可flush 的阶段，但是实际测试flush 效果并不好，反而restart read-write 节点阅读全文

posted @ 2025-12-09 08:25 荣锋亮阅读(3) 评论(0) 推荐(0)

zerofs 最近的一些更新

摘要： zerofs 最近还是提供了不少有意思的更新的，比如对于slatedb lsm 的配置暴露出来了，提供了read only 节点，可以实现多实例运行了（但是注意只能运行一个read-write 节点）说明一些问题，当然从v0.17.0 开始，对于历史版本是不兼容的，注意升级的问题,新特性还是比较阅读全文

posted @ 2025-12-09 08:25 荣锋亮阅读(5) 评论(0) 推荐(0)

nats 的消息调度

摘要： nats 2.12.2 支持消息调度了，但是目前实现上并不是很全，已经可以支持一些玩法了，以下简单说明下特点首先是基于jetstream 的，我们需要创建一个jetstream jetstream 需要开启--allow-schedules，--allow-msg-ttl 推荐也开启 publi 阅读全文

posted @ 2025-12-07 08:00 荣锋亮阅读(11) 评论(0) 推荐(0)

nats 队列组的一些特性

摘要： nats 的队列组是一个比较有意思的功能，以下简单说明下一些特性特性可以实现应用的多容错可以实现工作负载的缩放对于消费者的扩缩容不会造成消息重复不需要额外的配置队列组的配置是有订阅消息的应用处理的 geo 亲缘性，尤其在进行leaf 节点或者supercluster 部署的时候，默认会选阅读全文

posted @ 2025-12-06 08:00 荣锋亮阅读(8) 评论(0) 推荐(0)

midwayjs typeorm 子组件模式加载实体问题

摘要：属于一个比较常见的问题，就是我们通过子组件提供orm 访问，以及api 处理，这样业务集成就会方便不少，比如UI/API 直接可以all-in-component 解决方法解决方法实际很多，主要是我们在配置typeorm 的时候需要一个entities的信息，解决思路可以通过子组件暴露entity 阅读全文

posted @ 2025-12-05 08:00 荣锋亮阅读(7) 评论(0) 推荐(0)

cloudevents + jmespath 简单规则执行

摘要：实际上属于一个简单的业务场景，数据实体基于了cloudevents，但是希望进行里边数据的check，对于不用的check 结果会有一些action（比如发送通知等），以下是一个简单实现示例参考代码 demo.js import jmespath from "jmespath"; import { 阅读全文

posted @ 2025-12-04 08:02 荣锋亮阅读(4) 评论(0) 推荐(0)

nats-server leaf node 通过cluster 地址进行服务reload

摘要：实际上属于一个小技巧，就是可利用nats 的export 以及import 可以将leaf sys 账户的$SYS 共享给leaf 链接的集群账户（当然leaf 链接的时候是需要进行本地account 映射的），这样cluster 的账户就可以request leaf 节点了参考玩法 accoun 阅读全文

posted @ 2025-12-03 08:00 荣锋亮阅读(5) 评论(0) 推荐(0)

nats-server reload 的几种方法

摘要： nats-server 提供了几种模式可以方便的进行server load，以下简单说明下方法 cli 模式 nats-server --signal reload 通过$SYS.REQ.SERVER..RELOAD 服务调用注意需要时sys account 用户 nats --user sys 阅读全文

posted @ 2025-12-02 08:00 荣锋亮阅读(7) 评论(0) 推荐(0)

nats 系统事件以及监控

摘要：内容实际官方文档已经很全了，nats 提供了基于消息以及prometheus 还有http endpoint 的监控信息，内部基于消息的监控是很方便的比如以前说的mqtt 状态监控的，就用消息的就很方便，以下链接提供了一些说明，可以方便使用说明内容就是一个整理，方便使用，详细的可以阅读链接内容阅读全文

posted @ 2025-12-01 08:00 荣锋亮阅读(5) 评论(0) 推荐(0)

nats leaf 节点模式与mqtt 连接状态的监控

摘要： eaf 节点可以与集群直接通信，在iot 场景，一般客户端连接的都是leaf 节点，此时如果我们希望云端进行状态监控就有点不太一样了,以下是一些玩法说明监控玩法具体使用什么账户以及如何监控和部署玩法有关系，同时leaf 节点的sys 与cluster 的sys 实际上并不是一个东西，能监控获取到阅读全文

posted @ 2025-11-30 08:00 荣锋亮阅读(6) 评论(0) 推荐(0)

nats mqtt client 连接状态监控的一些说明

摘要：默认nats 的mqtt 支持will 消息可以实现一些场景的设备离线监控，但是对于上线场景，暂时没直接提供类似mqtt $SYS 的一些能力，但是如果希望实现复杂的暂时不能通过mqtt 标准套路解决可选的模式 mqtt 的will 消息，只能处理断开的通过sys 账户的$SYS.ACCOUNT 阅读全文

posted @ 2025-11-29 08:00 荣锋亮阅读(8) 评论(0) 推荐(0)

nestjs 配置管理简单说明

摘要： nestjs 配置管理是一个独立的模块，机制上不像midwayjs的玩法，直接提供了装饰器可以快速获取，但是nestjs 是以模块的模式提供的，同时支持范型模式，当然有支持midwayjs 接口定义获取的模式（自动进行对象转换），以下是一个简单玩法基于yaml的简单实例内容实际来自官方文档，我做阅读全文

posted @ 2025-11-28 08:00 荣锋亮阅读(6) 评论(0) 推荐(0)

nestjs 静态web资源的加载

摘要： nestjs 的静态资源处理还是比较方便的，基于上与midwayjs比较类似的参考玩法 import { Module } from '@nestjs/common'; import { ModuleBController } from './moduleb.controller'; import 阅读全文

posted @ 2025-11-27 08:00 荣锋亮阅读(7) 评论(0) 推荐(0)

nestjs 使用类似midwayjs 模式加载模块

摘要： midwayjs 在不少使用上实际与nestjs 是比较类似的，midwayjs 提供了一个比较有意思的玩法，就是组件化，nestjs 当然也有自己比较强大的模块化能力参考玩法机制上实际比较简单，核心是代码组织以及模块的导入，因为nestjs 也是提供了ioc 能力的，核心是将我们的模块impo 阅读全文

posted @ 2025-11-26 08:00 荣锋亮阅读(12) 评论(0) 推荐(0)

nats leaf node 部署一些问题

摘要：以前简单说过一些leaf node 的部署套路以及一些玩法，实际在如果希望提供公网能力的场景又有一些不同的玩法一些问题结合场景，看看nats 的leaf node 是需要公网还是直接特定网络访问，如果提供公网能力，tls 以及leaf node得advertise 很重要，否则会有安全的问题以及阅读全文

posted @ 2025-11-25 08:00 荣锋亮阅读(11) 评论(0) 推荐(0)

nats import & export简单说明

摘要：服务导出（Service Export）：用于请求-回复模式。一个账户将服务（即一个主题，用于接收请求并回复）导出，其他账户可以导入该服务并向其发送请求。流导出（Stream Export）：用于流消息（即发布-订阅模式）。一个账户将流（即一个主题，用于发布消息）导出，其他账户可以导入该流并接收消阅读全文

posted @ 2025-11-24 08:00 荣锋亮阅读(5) 评论(0) 推荐(0)

midwayjs 组件静态资源映射默认页面问题

摘要： midwayjs 组件如果包含静态资源可以实现灵活的自服务开发，midwayjs 内部基于了koa-static-cache ，实际上是支持配置首页的但是在测试的一些效果与实际的并不太符合，以下简单说明下原因内部机制 alias 的处理,如下，可以看到如果有配置，实际会结合配置的alias 进一阅读全文

posted @ 2025-11-23 08:00 荣锋亮阅读(5) 评论(0) 推荐(0)

pg_lake 基于pg 的iceberg &数据湖访问

摘要： pg_lake 是Snowflake开源的基于pg 的iceberg 以及数据湖访问方案，内部来源于crunchy data 的技术方案（有用到duckdb）参考架构可以看到有一个独立的pg_duck_server 内部使用的是duckdb，内部pg_lake包含了不少组件说明目前官方提供了阅读全文

posted @ 2025-11-22 08:00 荣锋亮阅读(21) 评论(0) 推荐(0)

package-json 通过编程模式操作package.json的npm包

摘要： package-json 是npm 团队提供的一个通过编程模式操作package.json的包，与通过json 读取以及序列化操作相比简单不少参考玩法可以自己指定pacakge.json 文件，或者明确加载的位置参考处理先加载，然后更新，之后是save const PackageJson = 阅读全文

posted @ 2025-11-21 08:00 荣锋亮阅读(4) 评论(0) 推荐(0)

quart python async web micro框架

摘要： quart python async web micro框架支持的特性渲染html 模版编写rest full api 提供websocket 服务流处理request 以及response 说明当前官方的说法是quart 是对于Flask web 框架的asyncio 重新实现,值得尝试阅读全文

posted @ 2025-11-20 08:12 荣锋亮阅读(3) 评论(0) 推荐(0)

midwayjs 动态加载组件的一种方法

摘要： midwayjs 的组件特性是一个很不错的特性，可以让我们开发的应用模块化比较强，一般我们都是明确指定加载的组件的实际上通过简单的动态加载也是一个很不错的玩法，可以实现动态化，以下简单说明下玩法核心点就是通过require 动态导入，让后作为参数传递就行了参考玩法就是一个简单示例，实际可以阅读全文

posted @ 2025-11-19 08:00 荣锋亮阅读(4) 评论(0) 推荐(0)

midwayjs 组件配置静态资源

摘要： midwayjs组件实际上是支持应用的所有特性的，但是我们可能希望开发的组件也包含静态资源，这样资源直接打包在npm包中，用户安装之后就能使用了，以下是一些说明关键点因为midwayjs 静态资源的支持是基于static_file 扩展的，就需要安装扩展以及配置相关的路径, 为了方便并不推荐直接阅读全文

posted @ 2025-11-18 08:00 荣锋亮阅读(6) 评论(0) 推荐(0)

midwayjs 自定义组件开发

摘要：实际上官方已经明确说明了自定义组件开发的一些技巧了，我主要简单说明i下一些问题一些问题自定义组件就是一个小的应用如果需要注册controller 注意在index.ts 中对于controller 的export，不然是不能生效的如果是多模块的项目，注意需要构建自定义组件是可以直接使用主应阅读全文

posted @ 2025-11-17 08:00 荣锋亮阅读(19) 评论(0) 推荐(0)

nestjs 通过名称获取ioc服务

摘要： nestjs 一个比较强大的功能就是ioc，一般如果大家都使用ts 就比较简单，但是我们可能希望使用名称获取注册的服务，以下是一个简单说明机制核心就是通过注册提供一个token名称，之后通过这个名称获取服务参考使用注册服务 import { Module } from '@nestjs/co 阅读全文

posted @ 2025-11-16 08:00 荣锋亮阅读(10) 评论(0) 推荐(0)

typebox json schema 构建工具

摘要： typebox 是一个json schema 类型构建工具，可以实现方便的类型生成,同时这个项目包含了好几个子包，也是很值得学习使用的一个简单玩法参考示例 import Type from 'typebox' const T = Type.Object({ id: Type.Number(), 阅读全文

posted @ 2025-11-15 08:00 荣锋亮阅读(19) 评论(0) 推荐(0)

nats-account-server nats 的accout服务

摘要： nats-account-server 是官方提供的一个nats account 服务，目前官方推荐基于nats 的resovler 但是独立服务依然是一个不错的选择尽管nats-account-server 算是一个遗留方案了，但是价值依然是有的，对于一些需要独立管理的场景还是很重要的说明实阅读全文

posted @ 2025-11-14 08:00 荣锋亮阅读(11) 评论(0) 推荐(0)

toon 面向token的数据格式

摘要： toon 是一个面向token 的数据格式，对于llm 会友好一些，可以极大的简单token 的数量（json 数据会有重复的字段）适合的场景比较适合接结构重复的数据，tables，包含不少字段说明 toon 同时提供了不同语言的sdk 可以方便创建对于的数据转换，对于大模型项目希望减少数据t 阅读全文

posted @ 2025-11-13 08:00 荣锋亮阅读(71) 评论(0) 推荐(0)

k6 nats 测试扩展

摘要：实际上社区已经有一个扩展了，但是因为时间比较长了，与新版本的k6 已经不兼容了，我进行了调整了可以更好的支持新版本参考修改 k6使用的底层js 引擎，新版本使用了grafana/sobek 对于golang nats client 以及k6 版本进行了升级使用方法上是一样的，没有变化，构建命令阅读全文

posted @ 2025-11-12 08:00 荣锋亮阅读(9) 评论(0) 推荐(0)

dts-bundle-generator 提取ts 类型定义到单一文件的工具

摘要： dts-bundle-generator 是一个比较有意思的工具，可以用来提取typescript 项目的类型文件到单一文件，比较适合我们进行类型快速获取以及简化包的类型定义文件说明一些玩法，比如基于ts 类型生成代码的场景，以及需要将类型合并到一个文件，方便打包的场景参考资料 https: 阅读全文

posted @ 2025-11-11 08:02 荣锋亮阅读(14) 评论(0) 推荐(0)

nats mqtt 支持消息处理负载均衡的一些方法

摘要： nats mqtt 的支持默认是v3.1.1 如果希望使用共享订阅等一些5协议的特性是很不方便的，以下是一个解决方法参考图如下图简单说明：上图集成了几种玩法，一种是基于nats 订阅的queue这样，对于接受到消息的会触发负载均衡机制，但是协议上就会有mqtt 以及nats 协议的，一种是通过阅读全文

posted @ 2025-11-10 08:00 荣锋亮阅读(16) 评论(0) 推荐(0)

nats nsc 用户管理一些说明

摘要： nats 基于nkeys 进行账户权限管理师推荐的玩法，对于用户实际是不会存储在nats-server 中的，用户的jwt在本地，同时私钥也是在本地的，所以安全行上会好一些，而且nats-server 也不用存储那么多的用户账户信息，相对简单一些用户处理特点 nats-server 不存储用户到s 阅读全文

posted @ 2025-11-09 08:00 荣锋亮阅读(17) 评论(0) 推荐(0)

nats nkeys 实际的一些推荐玩法

摘要： nsc 是nats 推荐的基于jwt 的认证管理机制，当然使用上会有一些技巧 nsc 一些概念包含了operator，account，user，一般我们需要先进行初始化，这个比较简单，但是注意存储的位置参考玩法 nsc ini 指定-config-dir, --data-dir, and --k 阅读全文

posted @ 2025-11-08 08:00 荣锋亮阅读(9) 评论(0) 推荐(0)

nats leaf node 部署玩法

摘要： nats 的leaf node 模式是一种扩展nats 能力到边缘场景的玩法，部署上比较简单，核心是配置leaf 信息，同时可能还会有安全认证的问题认证模式基于Nkeys的（推荐基于nsc 等工具处理）直接配置用户密码的没有安全认证一个参考部署说明：对于集群使用了nkeys 进行安全管理阅读全文

posted @ 2025-11-07 17:21 荣锋亮阅读(12) 评论(0) 推荐(0)

nats haproxy lb 相关配置简单说明

摘要：实际上此问题在实际上内网一般问题不大，但是如果在云上云下问题就不一样了,通过proxy 就可以不用暴露实际的节点信息了核心配置 no_advertise 不进行通知，这样client 的info 消息就不会包含cluster 节点信息了，客户端连接的就是lb 的地址了参考配置 cluster { 阅读全文

posted @ 2025-11-06 08:12 荣锋亮阅读(12) 评论(0) 推荐(0)

minio 集群部署磁盘挂载一些问题

摘要：最近在部署minio 集群的时候已经碰到两次关于磁盘没有使用uuid 造成minio集群启动不正确的问题了，以前没太注意，这次在部署又出现了，所以记录下一些问题 uuid 问题磁盘挂载最好使用uuid ，参考如下 UUID=6d44f596-df6f-4a2b-ac32-00e7cf0a5e07 阅读全文

posted @ 2025-11-05 08:00 荣锋亮阅读(22) 评论(0) 推荐(0)

导航

公告