2025年11月3日

nfs 自动挂载的一些问题

摘要: 在测试nfs 自动挂载的时候发现的一个问题,平时没太注意,先进行了不少nfs 挂载参数的调整尝试,依然不行,后边发现是可以开启 systemd-networkd-wait-online 或者NetworkManager-wait-online.service 参考启动配置 /etc/fstab xx 阅读全文

posted @ 2025-11-03 18:01 荣锋亮 阅读(2) 评论(0) 推荐(0)

2025年11月2日

zerofs nbd 自动挂载

摘要: 目前的nbd 自动挂载的方法比较多,有systemd的,也有通过/etc/nbdtab 的,但是systmd似乎更加可靠一些 参考配置 nbd0.service 注意实际修改为自己的配置信息 [Unit] Description=Connect NBD0 After=network-online.t 阅读全文

posted @ 2025-11-02 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0)

2025年11月1日

zerofs 当前的一些限制以及缺点

摘要: zerofs 官方文档提供了一些文档,包含了与不少不错文件系统的比较,基本都是超越不少的对比,但是实际上目前从测试来说并不是那么的好,毕竟使用上是有一些缺陷的 一些缺陷 因为slatedb 以及当前设计的问题,实际只能部署一个zerofs server ,否则会有元数据的问题,多节点访问会有异常 当 阅读全文

posted @ 2025-11-01 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0)

2025年10月31日

zerofs 常见问题以及解决方法

摘要: 内部来自官方文档,目前整理的还是比较全的, 具体内容基本都是如何操作以及一些常见问题的, 提供了一个总的异常处理,以及分类的(nfs,9p,nbd),当前主要的一些问题包含了zerofs 的一些bug 以及因为内核fs 模块的问题 说明 常见问题解决官方问题基本已经有了,当前实际最大的问题就是一个小 阅读全文

posted @ 2025-10-31 12:51 荣锋亮 阅读(2) 评论(0) 推荐(0)

zerofs 参考架构

摘要: 内容来自官方文档,实际上zerofs 当前核心部分还是不同的fs server 实现,以及自己的vfs,对于底层存储核心是基于了slatedb 参考架构 如下图,可以看到client payer 主要是复用了现有的东西,zerofs core 基于自己的vfs 实现了不同的fs server ,同时 阅读全文

posted @ 2025-10-31 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0)

2025年10月30日

zerofs 在ubuntu 上运行一个问题记录

摘要: 目前在ubuntu 上运行出现了一直提示端口被占用的问题(使用了zerofs init 的基础配置,然后配置了minio),通过排除发现是nfs 默认监听端口的问题 解决方法 调整默认配置提供的监听端口为其他的 参考配置 [servers.nfs] addresses = ["0.0.0.0:209 阅读全文

posted @ 2025-10-30 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0)

2025年10月29日

zerofs 基于slatedb的文件系统

摘要: zerofs 内部基于了slatedb 进行数据存储,底层数据是在s3中的,当前zerofs 实现了nfs,9p,nbd 等文件协议 比较强大的功能是直接可以在块存储上运行db 系统(当前官方的一些案例),因为zerofs 元数据以及实际的数据都是在s3中的,维护上就简单不少 说明 当然zerofs 阅读全文

posted @ 2025-10-29 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0)

2025年10月28日

海康视频设备onvif 快照数据获取

摘要: 当前因为一些历史原因,不少onvif 的包都比较老,同时不少设备因为安全问题对于部分数据的处理进行了调整,造成实际处理上不太兼容, 或者不能使用 onvif 快照问题 默认支持的路径类似如下onvif-http/snapshot?Profile_1 实际上还有一个ISAPI 协议的ISAPI/Str 阅读全文

posted @ 2025-10-28 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0)

2025年10月27日

zerofs nfs 协议当前的一些限制

摘要: 尽管zerosf 支持不少文件协议,但是目前一些协议使用上并不是很方便,比如9p, nbd 不少内很模块是没有直接内置的,只有nfs 当前基本是都包含的,以下是nfs 的一些限制 限制 没有文件锁支持 uid/gid 映射是基于数字id 协议是无状态的,没有持久化连接 缓存一致性问题,多个客户端可能 阅读全文

posted @ 2025-10-27 14:32 荣锋亮 阅读(5) 评论(0) 推荐(0)

2025年10月26日

onvif ptz 处理

摘要: 简单记录下onvif 如何集成ptz 进行控制 参考代码 const onvif = require('node-onvif'); // Create an OnvifDevice object let device = new onvif.OnvifDevice({ xaddr: 'http:// 阅读全文

posted @ 2025-10-26 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0)

2025年10月25日

编译zenoh-python 支持python 包直接加载plugin插件

摘要: 了解zenoh的都应该支持zenoh 包含了几种角色,peer,client,router,这些都是在配置指定的,但是在一些语言sdk 中,zenoh 为了简单,一些模式尽管可以配置,但是实际参数是不能生效的,比如router 模式的plugin 加载 解决方法 可以参考zenohd 的方法(核心部 阅读全文

posted @ 2025-10-25 09:03 荣锋亮 阅读(8) 评论(0) 推荐(0)

ArtCafeAI-Agent-Framework 基于nats 消息的模块化agent 协作框架

摘要: ArtCafeAI-Agent-Framework 的设计思路比较有意思,但是目前似乎不再维护了(官方start 只有我的,同时官方示例项目移到项目中了,当前只保留了ArtCafeAI-Agent-Framework ) ArtCafeAI-Agent-Framework 的一些思路 基于Nats 阅读全文

posted @ 2025-10-25 09:03 荣锋亮 阅读(6) 评论(0) 推荐(0)

2025年10月23日

nats service large data的处理

摘要: nats nodejs 实现有一个支持large 数据的示例,比较有意思,记录下 内部玩法 通过在service endpoint 处理中,response 多个数据,然后,对于request 使用nodejs 包装的requestMany 参考代码 server import { connect 阅读全文

posted @ 2025-10-23 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0)

2025年10月22日

mochi-mqtt/server 实现一个mqtt bridge 功能

摘要: mochi-mqtt/server内置了一个比较有意思的功能InlineClient 通过此接口我们就可以实现一个类似nanomq 的mqtt bridge 功能,而且开发起来比较方便 参考实现机制 简单说明: 就是通过一个mqtt client 接受mqtt broker 的消息,结合配置的信息, 阅读全文

posted @ 2025-10-22 08:00 荣锋亮 阅读(20) 评论(0) 推荐(0)

2025年10月21日

marmot的一些特点

摘要: 以前简单介绍过marmot ,以下说下一些特点 特点 当前版本已经通过nats server 包内置到了服务中,不需要独立部署nats 了,但是推荐还是部署3个节点 默认内置的nats 没有开启认证,注意使用,同时nats 独立srever 的一些能力可能也会没有(mqtt ) 内部meta.Seq 阅读全文

posted @ 2025-10-21 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0)

2025年10月20日

marmot 基于nats 的sqlite 同步方案

摘要: marmot 是一个基于nats 的sqlite 数据同步方案,内部技术上基于了触发器(所以对于表schema 的变更以及如果添加了新的表,处理上就会有一些技巧了) 参考玩法 说明 marmot 对于实时处理通过监听wal 文件,然后获取触发器表中的数据,通过nats 的jetstream 发送,每 阅读全文

posted @ 2025-10-20 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0)

mochi-mqtt/server golang mqtt 包

摘要: 最近在学习nats 的mqtt 能力,默认nats mqtt 的实现是3.1.1 的,同时想着集成nanomq 的bridge 进行桥接实现共享订阅的能力,但是发现有一个兼容的问题,似乎是nanomq 在发送3.1.1 协议包的时候,nats mqtt 解析有一些问题(但是nats mqtt 在不同 阅读全文

posted @ 2025-10-20 01:16 荣锋亮 阅读(16) 评论(0) 推荐(0)

2025年10月18日

dremio Source [__jobResultsStore] was updated, and the given configuration has older ctime (current: xxxxxx, given: xxx) 解决方法

摘要: 此问题是在进行dremio 元数据迁移的时候碰到的,核心是以前使用的本地存储作为分布式存储,但是新的调整为了s3 ,机制上应该问题不大,但是实际碰到了问题,就是标题的问题,查询不能执行 解决方法 首先需要了解dremio backup 以及restore 的机制,实际上就是对于kv的数据备份以及恢复 阅读全文

posted @ 2025-10-18 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0)

2025年10月17日

dremio backup&restore 一些说明

摘要: dremio 提供了admin cli 进行元数据的备份以及恢复,备份还比较方便,对于恢复以下简单说明下 数据目录 默认是在安装包的data 目录中,通过dremio.conf 指定的,可以调整,但是恢复的时候db 目录应该是空的 问题 注意说明的是db应该为空,大家可能会直接删除了db文件夹,实际 阅读全文

posted @ 2025-10-17 23:30 荣锋亮 阅读(6) 评论(0) 推荐(0)

2025年10月16日

通过pypdfium2-team/ctypesgen 快速生成ctypes 代码

摘要: 以前说过ctypesgen 的作用,以下是一个简单试用 项目准备 代码结构 ├── add.c ├── add.h ├── add.so ├── app.py ├── common.h ├── init_patch.py ├── pyadd.py └── README.md 代码说明 add.h 是 阅读全文

posted @ 2025-10-16 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0)

2025年10月15日

通过ctypesgen 快速生成ctypes 代码

摘要: ctypesgen 是一个很不错的工具,可以帮助我们快速的生成ctypes代码,方便python对于c/c++ 代码的访问,实际上有一些扩展,比如原生的以及pypdfium2-team fork 修改的 参考使用命令 ctypesgen -i add.h -l add -L './add.so' - 阅读全文

posted @ 2025-10-15 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0)

2025年10月14日

pypdfium2 PDFium 的python 包装

摘要: pypdfium2 是对于PDFium的python 包装,官方说明处理任务性能可以接近PyMuPDF 说明 pypdfium2 内部基于了ctypesgen 包装(相比原始进行了自己的扩展),生成python 绑定的代码,这样可以进行快速的代码处理,我在测试提取一个14m的pdf 文本内容花了不到 阅读全文

posted @ 2025-10-14 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0)

2025年10月13日

rqlite java sdk 对于sqlite-vec 支持的bug

摘要: sqlite-vec 查询返回的distance 是real 类型的,但是rqlite java sdk 对于类型了check,如果没在代码里边的会直接提示异常 解决方法 实际上real 与包含精度的float 类型是类似的,解决方法就比较简单了,配置兼容就可以了 参考示例代码 具体需改的地方比较多 阅读全文

posted @ 2025-10-13 08:00 荣锋亮 阅读(9) 评论(0) 推荐(0)

2025年10月12日

通过rqlite sdk 快速访问sqlite-vec

摘要: sqlite-vec 的的轻量化以及标准sqlite 扩展的模式对于需要使用向量存储的场景(比如相似比较的),但是使用上可能并不是很友好(从轻量化来说够用了,但是我们很多时候还是需要server 以及轻量能力,同时将扩展隐藏起来,方便维护),rqlite 是一个不错的基于sqlite 但是支持分布式 阅读全文

posted @ 2025-10-12 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0)

2025年10月11日

marimo python 响应式notebook 框架

摘要: marimo python 响应式notebook 框架 包含的特性 功能齐全,可以用来替换jupter,streamlit,papermill 等 响应式 git 友好,存储为.py文件 面向数据的设计 ai native 可共享,可以部署为可交互的界面 可执行(因为是py文件,可以直接执行) 可 阅读全文

posted @ 2025-10-11 09:56 荣锋亮 阅读(26) 评论(0) 推荐(0)

2025年10月10日

dremio sql server uniqueidentifier 数据类型问题

摘要: uniqueidentifier 类型用来存储guid,sql server内部存储为16个固定字节的二进制数据,在dremio 当前的arp 类型映射中,存储为了varbinary,机制上没有问题,但是很多时候大家希望使用可视化的字符串格式uuid(因为映射为varbinary,界面显示就是一个b 阅读全文

posted @ 2025-10-10 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0)

2025年10月9日

使用sqlite-loadable-rs开发一个简单sqlite uuid 扩展

摘要: 默认sqlite 缺少uuid 函数, sqlite-loadable-rs 是一个基于rust包装的框架,可以用来快速开发sqlite 扩展,以下是一个简单测试 项目准备 cargo.toml 注意当前edition = "2021" ,2024 因为一些macro的问题,编译会有问题,对于uui 阅读全文

posted @ 2025-10-09 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0)

2025年10月8日

sqlite-loadable-rs rust 开发sqlite 扩展

摘要: sqlite-loadable-rs 是一个受rusqlite,以及pgx 启发的框架,可以使用rust 开开发sqlite 扩展 包含的特性 支持标量函数 支持表函数 支持虚拟表 说明 sqlite 一些扩展就是基于sqlite-loadable-rs开发的(sqlite-xsv,base64 等 阅读全文

posted @ 2025-10-08 07:49 荣锋亮 阅读(12) 评论(0) 推荐(0)

2025年10月7日

通过litestream 进行sqlite-vec 数据备份以及恢复

摘要: 实际上就是一个简单的测试,litestream 支持流式复制,比较适合对于sqlite进行备份,同时litestream 还支持对象存储的remote 模式,比较方便 环境准备 minio services: s3: image: minio/minio command: server /data 阅读全文

posted @ 2025-10-07 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0)

2025年10月6日

plexe 通过提示词构建机器学习模型

摘要: plexe是一个可以通过提示词构建机器模型的框架 内部如何处理的 计划,分析用户意图以及数据,开发模型构建测试 代码生成,通过比较知名的库(tensorflow,pytorch,scikit-learn) 创建合适机器学习代码 执行以及提炼,运行生成的代码,评估结果,迭代提示性能 部署,打包模型,方 阅读全文

posted @ 2025-10-06 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0)

2025年10月5日

fasthx fastapi服务器端渲染看框架

摘要: fasthx 是一个fastapi 的服务器端渲染框架 包含的特性 基于装饰器的语法 内置htmx 支持任何模版引擎,htmy,jinja2,dominate 对于装饰器路路由渲染引擎支持访问所有依赖 支持异步以及同步路由 支持类型提示 支持响应头透传 说明 fasthx 支持htmx模版引擎的套路 阅读全文

posted @ 2025-10-05 11:22 荣锋亮 阅读(11) 评论(0) 推荐(0)

2025年10月4日

rqlite 集成sqlite-vec 简单说明

摘要: rqlite 是一个基于raft 的实现的分布式sqlite,sqlite-vec 是可以直接集成rqlite的,核心是sqlite 的插件机制,以下是一个简单试用 环境准备 可以使用docker 或者直接下载二进制包运行,为了方便,我直接使用mac 的rqlite 包 安装 brew instal 阅读全文

posted @ 2025-10-04 08:05 荣锋亮 阅读(19) 评论(0) 推荐(0)

2025年10月3日

orbital 转换scikitlearn pipeline 为sql的框架

摘要: orbital 是一个转换scikitlearn pipeline 为sql的框架,设计上比较有意思,可以将我们训练好的scikitlearn 模型,直接转换为sql 执行,这样进行实际推理预测就会特别简单了,内部实际核心是将训练的权重数据提取出来,转换为实际执行的sql 参数 参考示例 # Cre 阅读全文

posted @ 2025-10-03 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0)

2025年10月2日

openinference 基于OpenTelemetry的ai 应用可观测性指南

摘要: openinference 基于OpenTelemetry提供了ai 应用可观测性指南,同时包含了不少ai 框架的实现,包含ai sdk,ai agent,mcp 等 说明 ai 应用的可观测性还是很重要的,实际上也有不少其他开源实现,基于OpenTelemetry的好处是可以复用一套标准的指南,实 阅读全文

posted @ 2025-10-02 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0)

2025年10月1日

sqlite-vec 简单试用

摘要: sqlite-vec 官方实际有一些文档,同时github 也有不少示例,以下就是一个简单使用(集成python) 创建虚拟表 参考命令 import sqlite3 import sqlite_vec from sqlite_vec import serialize_float32 import 阅读全文

posted @ 2025-10-01 08:14 荣锋亮 阅读(23) 评论(0) 推荐(0)

2025年9月30日

sqlite-vec sqlite vector 扩展

摘要: sqlite-vec 是一个很不错的sqlite vector支持扩展,支持不少语言,同时基于sqlite 的虚拟表,实现了比较灵活的处理 一些特性 虚拟表,支持分片,元数据,以及辅助字段(有些进行分片,有些进行查询),当然目前对于分片以及元数据支持的类型有限定 比较轻量,支持wasm等 说明 以前 阅读全文

posted @ 2025-09-30 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0)

2025年9月29日

手工调整pip whl 文件内容

摘要: 属于一个比较常见的问题,比如我们希望自己修改一个whl 文件的内容,但是还是通过pip install 的模式,不希望通过pip 安装之后再手工进行文件替换,解决方法比较简单 有源码的 可以自己重新构建 没有源码的 可以直接进行whl 替换,因为whl 实际就是zip文件,我们可以先解压,然后替换, 阅读全文

posted @ 2025-09-29 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0)

2025年9月28日

mcp playwright 简单试用

摘要: 主要是一个演示集成,可以体验到mcp+ 大模型的方便之处 参考玩法 简单说明: 用户可以通过mcp client 或者集成的agent,然后client 配置playwright mcp 服务,对于 playwright mcp 服务可以使用remote cdp server 这样可以减少本地的资源 阅读全文

posted @ 2025-09-28 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0)

2025年9月27日

dremio 26.0.5 社区版源码以及包提供下载了

摘要: 就在昨天dremio 26.0.5 社区版源码以及包都提供了下载地 说明 实际上应该是很早就提供了,就是昨天才发布的,有空了可以研究下新的功能 参考资料 https://download.dremio.com/community-server/ https://docs.dremio.com/cur 阅读全文

posted @ 2025-09-27 19:15 荣锋亮 阅读(24) 评论(0) 推荐(0)

通过mcp-use client 调用mcp 服务方法

摘要: mcp-use 提供了client,可以方便与mcp server 进行通信,是一个不错的方便测试的工具 参考代码 app.py import asyncio from mcp_use import MCPClient async def main(): config = { "mcpServers 阅读全文

posted @ 2025-09-27 10:01 荣锋亮 阅读(50) 评论(0) 推荐(0)

导航