荣锋亮 - 博客园

zenoh webserver 插件一个有意思的功能

摘要： zenoh webserver plugin 是可以获取key 的信息，通过http 协议实现资源的映射，同时zenoh对于key 支持查询参数，比如SUB 可以实现流式数据处理，比如视频以及多媒体资源类的处理流式请求格式 <key_expre>?_method=SUB 使用此格式，可以实现流式阅读全文

posted @ 2025-01-02 08:00 荣锋亮阅读(77) 评论(0) 推荐(0)

zenoh ts sdk 内部实现简单说明

摘要：以前简单说过zenoh 内部是直接支持websocket 协议的，但是如果需要使用websocket就需要自己包装特定的消息体才能通信为了方便web使用（同时也支持node）zenoh ts sdk 基于remote plugin （同样也是暴露websocket api），之后包装为标准zeno 阅读全文

posted @ 2025-01-01 08:00 荣锋亮阅读(70) 评论(0) 推荐(0)

不使用存储插件进行zenoh 存储扩展开发

摘要：以前简单说过zenoh 内部存储插件的处理机制，以下说明下如何直接基于zenoh 语言sdk 进行存储扩展开发参考图内部机制说明：对于写入put操作，我们基于ssubscriber 订阅特定的key信息，之后写入到存储中，对于get 请求，我们使用queryable 扩展定义callback 进阅读全文

posted @ 2024-12-31 08:00 荣锋亮阅读(44) 评论(0) 推荐(0)

zenoh s3 存储插件简单说明

摘要：以前简单介绍过关于zenoh 存储插件的接口定义，以下简单说明下s3实现的处理以及使用使用 zenoh 对于存储插件的处理统一是通过存储管理，之后是配置具体的存储插件时间参考配置 "plugins": { // configuration of "storage-manager" plugin: 阅读全文

posted @ 2024-12-30 08:00 荣锋亮阅读(45) 评论(0) 推荐(0)

zenoh一些新特性

摘要： zenoh 支持一些新特性，只是这些特性目前还不稳定一些不稳定的新特性 Liveiness 可以通过订阅以及get 模式获取状态，比较类似queryable ，但是个更加方便灵活的实现key 信息的监控 Attachment 可以添加一些自定义数据 Soure info 对于source 提供一些阅读全文

posted @ 2024-12-29 08:00 荣锋亮阅读(83) 评论(0) 推荐(0)

zenoh 存储插件的处理简单说明

摘要： zenoh 的存储插件实际上内部也是调用的，zenoh 暴露的session 操作的，对于数据的写入式基于了subscriber，对于数据的查询是基于了zenoh 的queryable，以下是一个简单说明完整的可以参考实际源码内部处理上边简单说明了下，内部实际上就是zenoh 的session 阅读全文

posted @ 2024-12-28 08:00 荣锋亮阅读(75) 评论(0) 推荐(0)

zenoh目前支持的一些协议

摘要：大家如果在学习zenoh的时候（包括官方文档）可能会看到zneoh 支持的一些协议，最好查看支持协议的地方实际上是通过源码当前支持的协议如下 ├── zenoh-links │ ├── README.md │ ├── zenoh-link-quic │ ├── zenoh-link-serial 阅读全文

posted @ 2024-12-27 08:00 荣锋亮阅读(181) 评论(0) 推荐(0)

zenoh-flow 基于zenoh的data flow 编程框架

摘要： zenoh-flow 是基于zenoh 的data flow 编程框架，可以实现分布式的flow 编程能力 zenoh-flow 抽象了source，operator，sink 等概念，基于zenoh 实现灵活的数据处理 source 可以基于rust 共享库或者python script 开发 o 阅读全文

posted @ 2024-12-26 08:00 荣锋亮阅读(76) 评论(0) 推荐(0)

zenoh-rpc 基于zenoh 的rpc框架

摘要： zenoh-rpc 目前还属于早期项目，利用此框架我们可以开发去中心化的分布式微服务包含的功能强类型服务注册服务发现自动生成客户端以及server端代码去中心化的rpc服务说明 zenoh 灵活的数据通信能力，可以实现不少有意思的服务，比如分布式web服务等，zenoh-rpc 目前还阅读全文

posted @ 2024-12-25 08:00 荣锋亮阅读(81) 评论(0) 推荐(0)

Daft 基于rust 开发的分布式数据引擎

摘要： Daft 是基于rust开发的分布式数据引擎，可以提供sql 以及python 的dataframe接口，可以应用在数据工程，分析，机器学习以及ai 场景包含的集成云存储集成，主要是s3，当然对于s3兼容的也是可以的集成pytorch，numpy 集成，方便机器学习以及ai 周边的数据湖周边阅读全文

posted @ 2024-12-24 08:00 荣锋亮阅读(427) 评论(0) 推荐(0)

drasi-platform 数据变动跟踪平台

摘要： drasi-platform 是一个面向变动数据处理的数据平台参考架构如下图，drasi 包含了source，continuouts query，reactions 等几个核心概念说明开发语言上drasi 使用了rust，cdc 部分集成了debezium，对于continuouts que 阅读全文

posted @ 2024-12-23 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

dice redis 兼容的内存数据库

摘要： dicedb 是一个兼容redis 协议的内存数据库包含的特性兼容redis 快速高效，单机环境比原生redis快5倍类sql 查询支持 push，pull支持原生json 支持支持http 以及websocket 协议说明从介绍上性能是很不错的，但是目前缺少生产部署的详细文档以及配置阅读全文

posted @ 2024-12-22 08:00 荣锋亮阅读(109) 评论(0) 推荐(0)

zenoh s3 存储插件使用

摘要： s3 存储插件可以方便的将数据持久化到对象存储中，同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离参考玩法可以将数据写入到s3中，同时对于不同的策略可以实现读写分离（可以基于数据复制以及基于zenoh的数据路由），玩法特别多参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮阅读(67) 评论(0) 推荐(0)

zenoh wireshark 集成简单说明

摘要： zenoh 对于有wireshark 的支持包含了两个版本的，基于lua 的以及rust 开发的，推荐基于rust 的，一下是一个简单测试构建 mac 系统的配置依赖 ln -snf $(find /Applications/Wireshark.app/Contents/Frameworks - 阅读全文

posted @ 2024-12-20 08:00 荣锋亮阅读(71) 评论(0) 推荐(0)

dbt 1.9 发布

摘要： dbt 1.9 发布了，比较重大的更新是对于increamenaal 的mcirobatch 支持以及新的snapshots 配置指南说明以上几个新特性以及修改官方已经有一些介绍了，很值得学习下，后边会简单介绍下参考资料 https://www.getdbt.com/blog/dbt-core 阅读全文

posted @ 2024-12-19 09:08 荣锋亮阅读(41) 评论(0) 推荐(0)

zenoh 监控

摘要： zenoh 提供了基于prometheus 的metrics 能力，但是需要开启stats feature ，同时官方也提供了一个基于datadog 的集成玩法独立部署监控简单说明开启系统的metrics 能力基于prometheus 周边灵活的集成处理通过adminspace 对于一些指标的阅读全文

posted @ 2024-12-19 08:00 荣锋亮阅读(59) 评论(0) 推荐(0)

zenoh 存储复制以及校准

摘要： zenoh通过存储管理插件可以灵活的支持存储的处理（通过key_expr 配置存储位置，进行分片）同时对于处理的key 会自动进行持久化但是如果是多个节点的就会存在一致性的问题，zenoh 提供了最总一致性语义可以进行数据的校准参考配置 zenoh 1.0.0 之后版本的 "plugins": 阅读全文

posted @ 2024-12-18 08:00 荣锋亮阅读(56) 评论(0) 推荐(0)

zenoh mqtt 简单说明

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议）使用场景路由mqtt 到边缘以及云对于mqtt 系统进行桥接通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-17 08:00 荣锋亮阅读(119) 评论(0) 推荐(0)

zenoh 用户密码支持

摘要： zenoh 支持基本的用户密码认证，client以及peer 支持与router 以及peer 进行认证配置说明参考配置 client { /// The node's mode (router, peer or client) mode: "client", transport: { auth 阅读全文

posted @ 2024-12-16 08:00 荣锋亮阅读(38) 评论(0) 推荐(0)

zenoh 访问控制处理

摘要：访问控制从0.11开始支持，1.0.0 版本相对比较稳定了，对于访问控制包含了认证以及安全，目前zenoh 支持相对完整的基于用户密码的认证以及tls的，同时支持基于策略的安全控制配置简单说明参考配置可以看到包含了rules，subjects，policies 三部分， { "access_c 阅读全文

posted @ 2024-12-15 08:00 荣锋亮阅读(50) 评论(0) 推荐(0)

zenoh rest plugin 简单使用说明

摘要： zenoh rest plugin 提供了rest api 能力，包含了管理adminspace 以及通过get，put，delete 操作key 的能力配置包含了独立模式以及plugin模式，可以解决实际场景使用，基于plugin模式是一个不错的选择参考配置 { "mode": "route 阅读全文

posted @ 2024-12-14 08:00 荣锋亮阅读(92) 评论(0) 推荐(0)

zenoh 1.0.0 一些新变化

摘要： zenoh 1.0.0 发布了，可以说是一个比较稳定的版本了，同时有一些新的变化，比如api 上的以及内部处理上 Interest protocol 以前版本订阅以及查询会在系统所有节点进行定义的传播，新的不会在传播到客户端以及peer子系统，所有的操作都是发送到最新的router Storage 阅读全文

posted @ 2024-12-13 09:43 荣锋亮阅读(74) 评论(0) 推荐(0)

pydiverse.pipedag 一个快速数据pipeline 调度库

摘要： pydiverse.pipedag 实际上就是一个python包，可以用来实现data pipeline 的调度，内部集成了cache，同时可以集成pandas，polars，sqlalchemy，ibis 等框架说明对于简单的data pipeline 场景（一般是单机玩法），基于pydive 阅读全文

posted @ 2024-12-12 08:00 荣锋亮阅读(41) 评论(0) 推荐(0)

pg_parquet CrunchyData团队开源的pg parquet fdw

摘要： pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中一些使用场景就是上边说的，写入或者读取parquet 数据查看parquet 的元数据以及schema 阅读全文

posted @ 2024-12-11 08:00 荣锋亮阅读(144) 评论(0) 推荐(0)

zenoh mqtt + nanomq 集成

摘要： zenoh mqtt 是一个zenoh 插件，可以让zenoh 提供mqtt 的能力（目前支持v3以及v5协议）使用场景路由mqtt 到边缘以及云对于mqtt 系统进行桥接通过zenoh rest api 进行mqtt 消息的发布订阅 mqtt ros2 交互存储mqtt 消息到zenoh 阅读全文

posted @ 2024-12-10 08:00 荣锋亮阅读(151) 评论(0) 推荐(0)

zenoh 强大的网络协议

摘要： zenoh 是一个强大的网络协议，支持灵活的组网模式，（peer，mesh，router，broker），同时具有快速的性能，对于业务集成提供了灵活的使用方法（pub，sub，query），同时还支持插件化的geo 存储能力（同时还支持数据复制能力），zenoh 同时还对于不同的使用场景进行了适阅读全文

posted @ 2024-12-09 08:00 荣锋亮阅读(603) 评论(0) 推荐(0)

vitest 基于vite 的下一代测试框架

摘要： vitest 基于vite 的下一代测试框架包含的特性基于vite 可以复用vite 的配置，转换器，解析器，插件智能实时watch 模式支持支持vue，react，svelte，lit，karko等框架的组件测试 ts/jsx 开箱即用的支持 esm 优先，顶级await 支持基于tin 阅读全文

posted @ 2024-12-08 08:00 荣锋亮阅读(73) 评论(0) 推荐(0)

ollama 0.5.0 发布内置结构化输出了

摘要：就在前几天ollama 发布了0.5.0了内置支持结构化输出了，同时ollama python 以及js 库已经支持此特性了，很值得使用说明同时就在一个小时之前发布了0.5.1 解决了一些结构化输出的bug 参考资料 https://github.com/ollama/ollama/releas 阅读全文

posted @ 2024-12-07 08:59 荣锋亮阅读(247) 评论(0) 推荐(0)

一些nodejs 线程池工具

摘要：线程池可以更好的提升系统的资源使用率，以下是一些nodejs 线程池工具的说明 piscina 快速，高效的线程池实现，包含的特性比较多，比如灵活的线程池大小，追踪执行以及等待的时间分析，取消支持，自定义任务队列等 tinypool 是基于piscina fork的一个实现，目的是为了简单以及高效，阅读全文

posted @ 2024-12-07 08:00 荣锋亮阅读(80) 评论(0) 推荐(0)

pgtyped 类型安全的基于typescript 的sql 包

摘要： pgtyped 类型安全的基于typescript 的sql 包包含的特性类型安全解析sql 以及ts 文件阻止sql注入说明对于开发强类型的sql 查询处理的，pgtyped 是一个值得尝试的包，后边简单说明下使用参考资料 https://pgtyped.dev/ https://g 阅读全文

posted @ 2024-12-06 08:00 荣锋亮阅读(17) 评论(0) 推荐(0)

tsup 包含依赖的处理

摘要： tsup 默认打包的bundle 实际上是结合依赖自动处理的，但是默认会排除dependencies以及devDependencies，此模式与我们实际希望的效果可能是不一致的，可选的解决方法是配置noExternal（通过正则匹配处理）参考使用 noExternal 参考配置 import {d 阅读全文

posted @ 2024-12-05 00:28 荣锋亮阅读(170) 评论(0) 推荐(0)

pongo基于pg的类似mongo语法查询npm包

摘要： pongo 是一个node 包装可以让我们使用类似mongo 查询的模式进行数据操作（底层数据存储在pg）同时提供强一致性包含的特性利用pg 提供了强一致性方便集成重用mongo 代码，因为兼容mongo api （注意并不是100%）增强了传统pg json 查询能力可以更好的使用pg 阅读全文

posted @ 2024-12-04 00:12 荣锋亮阅读(37) 评论(0) 推荐(0)

pydantic ai集成ollama简单试用

摘要：就是一个示例学习，体验下pydantic ai，llm 基于了ollama 参考代码 app.py 一个集成ollama 的测试 import asyncio from openai import AsyncOpenAI from pydantic import BaseModel,Field fr 阅读全文

posted @ 2024-12-03 21:21 荣锋亮阅读(536) 评论(0) 推荐(0)

pydantic ai agent 框架

摘要： pydantic 团队也开始搞ai agent 框架了，目前属于beta 版使用pydantic ai 的一些原因（来自官方介绍）来自pydantic团队，不少llm python sdk 都使用了此包模型无关，尽管当前支持的还有限，但是提供了简单接口可以扩展类型安全支持基于普通pytho 阅读全文

posted @ 2024-12-03 19:24 荣锋亮阅读(390) 评论(0) 推荐(0)

Semantic Metadata 语义元数据

摘要： Semantic Metadata 是orbital 为了进行数据集成提出的一套玩法，同时orbital 也开发了一些框架层的支持（Taxi 进行模型描述） orbital 进行集成开发 Semantic Metadata 的特点元数据定义了字段内容的契约平台无关系统基于此进行特定领域的业务a 阅读全文

posted @ 2024-12-03 08:00 荣锋亮阅读(43) 评论(0) 推荐(0)

connector-x db数据快速加载到dataframe的库

摘要： connector-x db数据快速加载到dataframe的库，支持不少数据库的到dataframe 数据的写入支持的数据库 pg mysql mariadb sqlite redshift clickhouse sql server azure sql database oracle big 阅读全文

posted @ 2024-12-02 08:06 荣锋亮阅读(95) 评论(0) 推荐(0)

crawle web 爬虫&浏览器自动化库

摘要： crawle web 爬虫&浏览器自动化库包含的特性 js&ts 支持 http 爬取，集成了cheerio 以及jsdom 的解析器无头浏览器支持爬取自动proxy 处理队列以及存储，可以保存文件，快照，json 结果内部不少方便的工具类，方便数据提取说明 crawle 同时也提供了p 阅读全文

posted @ 2024-12-02 08:00 荣锋亮阅读(108) 评论(0) 推荐(0)

RulesEngine 微软开源的基于json的规则引擎

摘要：以前有简单介绍过基于js 的json-rules-engine，以下简单说明下基于dotnet 的RulesEngine 包含的特性基于json 的规则定义多输入支持动态对象输入支持 c# 表达式支持基于class type 的自定义扩展表达式支持作用域范围参数 post rule 执行动阅读全文

posted @ 2024-12-01 08:00 荣锋亮阅读(294) 评论(0) 推荐(0)

json-rules-engine engine 简单说明

摘要： engine包含了存储，执行规则，提交事件以及维护状态，比如添加以及一处fact，添加、删除、更新rule，同时还包含添加operator，添加以及维护conddition 执行 // run the engine await engine.run() // with constant facts 阅读全文

posted @ 2024-11-30 08:00 荣锋亮阅读(244) 评论(0) 推荐(0)

json-rules-engine facts 简单说明

摘要： facts 实际上就是在rule 引擎执行中需要的数据，facts 数据可以是常量（硬编码的），也可以是动态设置的参考使用 // constant value facts let fact = new Fact('apiKey', '4feca34f9d67e99b8af2') // dynami 阅读全文

posted @ 2024-11-29 08:00 荣锋亮阅读(54) 评论(0) 推荐(0)

导航

公告