Daft 集成ray 测试
摘要：
通过集成ray 可以让Daft 实现分布式调度能力，以下是一个简单测试, ray 使用了本地模式 集成ray 测试 代码 是一个访问iceberg的示例代码 import daft import daft.context import ray ray.init() from pyiceberg.ca 阅读全文
posted @ 2025-02-09 08:00 荣锋亮 阅读(148) 评论(0) 推荐(0)
pygetwindow 跨平台获取window 窗口包
摘要：
pygetwindow 是一个跨平台的获取系统窗口的包，可以获取当前激活的窗口，以及或有打开窗口的标题 参考使用 安装 pip install pygetwindow 备注： 对于mac 系统需要安装pyobjc-framework-Quartz 这个包，方便集成Quartz 简单使用 注意mac 阅读全文
posted @ 2025-02-08 08:00 荣锋亮 阅读(336) 评论(0) 推荐(0)
Daft 集成iceberg 测试
摘要：
Daft 就用pyiceberg 提供了对于iceberg 的集成，以下是一个简单测试 准备iceberg 表 直接基于了本地数据存储 参考代码 import daft from pyiceberg.catalog.sql import SqlCatalog as ISqlCatalog impor 阅读全文
posted @ 2025-02-07 08:00 荣锋亮 阅读(73) 评论(0) 推荐(0)
PyTables 基于hdf5 以及numpy 分层数据集包
摘要：
PyTables 基于hdf5 以及numpy 分层数据集包，pandas 内部对于hdf5格式的处理就是基于了此包 包含的特性 支持表实体操作 多维以及表单元嵌入支持 表列支持索引操作 支持基于numpy 的数字数组 可扩展数组 可变长度数组 支持层级结构数据模型 用户定义元数据 支持读以及修改通 阅读全文
posted @ 2025-02-06 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0)
PyTables 提供的一些工具
摘要：
PyTables 提供了一些工具，可以方便查看以及分析生成的文件，以下是一个简单说明 ptdump 提供了查看数据以及元数据信息 命令 usage: ptdump [-h] [-v] [-d] [-a] [-s] [-c] [-i] [-R RANGE] filename[:nodepath] Th 阅读全文
posted @ 2025-02-05 08:00 荣锋亮 阅读(61) 评论(0) 推荐(0)
hdf5 存储格式
摘要：
hdf5是一种用于存储和管理大规模数据集的文件格式，广泛应用在数据科学中，pandas 等一些dataframe 框架提供了直接读写处理 包含的特点 层次化结构： HDF 文件可以组织成类似文件系统的层次结构，包含“组”和“数据集”。 组相当于文件夹，数据集相当于文件。 跨平台支持： HDF 文件在 阅读全文
posted @ 2025-02-04 08:00 荣锋亮 阅读(291) 评论(0) 推荐(0)
Daft sql查询数据库处理简单说明
摘要：
此sql 不是Daft 对于dataframe 的sql 查询处理，而是对于database 数据源的查询处理，以下是一些简单数名 简单说明 支持20+ 数据库方言，基于了sqlGlot，当然处理部分有基于connector-x的以及sqlalchemy的，默认使用connector-x 对于不支持 阅读全文
posted @ 2025-02-03 08:00 荣锋亮 阅读(95) 评论(0) 推荐(0)
Daft io配置简单说明
摘要：
很多时候我们希望取访问外部存储，但是外部存储是需要一些配置信息的，比如s3，Daft 对于配置的处理有两种模式，全局以及特定数据处理任务，以下简单说明下 全局模式 通过设置Daft 的计划信息，提供默认io 配置 参考配置 之后后续的处理就不要进行而外的io 访问配置了,比如适合有统一的io 配置信 阅读全文
posted @ 2025-02-02 08:00 荣锋亮 阅读(44) 评论(0) 推荐(0)
ollama deepseek 流式web 集成think 标签处理简单示例
摘要：
ollama openai 兼容api 的流式输出可以提升用户体验，当前deepseek 比较火，以下是对于deepseek think 部分部分的简单说明 处理机制 因为输出是markdown格式的，我们主要将think 部分解析到，同时进行标签的处理（比如替换为div 的同时添加class 属性 阅读全文
posted @ 2025-02-01 17:48 荣锋亮 阅读(5369) 评论(0) 推荐(0)
Daft s3 集成试用
摘要：
daft 支持不少存储数据的访问，以下是关于s3的一个简单试用 环境准备 docker-compose services: minio: image: minio/minio command: server /data --console-address ":9001" ports: - 9000: 阅读全文
posted @ 2025-02-01 08:00 荣锋亮 阅读(52) 评论(0) 推荐(0)
python atexit 模块提供的一些功能
摘要：
python 的atexit 提供了一些钩子，可以在python 正常退出的时候可以执行一些方法 参考使用 注册钩子函数 import atexit atexit.register(lambda: print('exit')) def main(): print('main') if __name_ 阅读全文
posted @ 2025-01-31 08:00 荣锋亮 阅读(63) 评论(0) 推荐(0)
eclipse uprotocol汽车应用以及服务连接框架
摘要：
eclipse uprotocol 基于了cloud events 以及protobuf 定义了通用的协议处理 包含的特性 多样的消息交换模式支持，包含了rpc，发布订阅，通知 跨语言支持，当前支持java，rust，c++，python 跨平台，支持linux，android，qnx 等 灵活，支 阅读全文
posted @ 2025-01-30 08:00 荣锋亮 阅读(54) 评论(0) 推荐(0)
yomo 支持geo ai 基础设施的状态化serverless 框架
摘要：
yomo 支持geo ai 基础设施的状态化serverless 框架 包含的特性 llm 函数调用 低延迟（基于quic 协议） geo 分布 自托管 webassembly 集成，通过go，rust，c，编译为wasm 运行 安全，数据包通过tls v1.3 加密 说明 webassembly 阅读全文
posted @ 2025-01-29 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0)
netron 方便的模型结构可视化工具
摘要：
netron可以方便的对于神经网络，深度学习以及机器学习的模型进行可视化，使用简单 说明 netron 支持各类模型，对于希望了解模型结构参数的netron是一个很不错的可视化工具 参考资料 https://netron.app/ https://github.com/lutzroeder/netr 阅读全文
posted @ 2025-01-28 08:00 荣锋亮 阅读(275) 评论(0) 推荐(0)
pynput python 实现控制以及监听鼠标以及键盘的包
摘要：
pynput 属于一个python 进行控制设备的包，目前主要提供了鼠标以及键盘控制能力，使用上都比较简单 说明 对于需要进行按键以及鼠标控制的，基于pynput是一个不错的选择，使用简单，支持多平台 参考资料 https://github.com/moses-palmer/pynput https 阅读全文
posted @ 2025-01-27 08:00 荣锋亮 阅读(118) 评论(0) 推荐(0)
memoripy 大模型上下文记忆包
摘要：
memoripy 大模型上下文记忆包，兼容openai 以及ollama api，包括上下文记忆检索、记忆衰减和强化、层次聚类和基于图的关联 支持的特性 长短记忆支持 上下文检索 使用openai 或者ollama 模型的概念提取以及嵌入 基于图的关联 层次聚类，支持聚类相似语义组 衰减以及增强，支 阅读全文
posted @ 2025-01-26 08:01 荣锋亮 阅读(104) 评论(0) 推荐(0)
optillm openai api 兼容的推理proxy 服务
摘要：
optillm openai api 兼容的推理proxy 服务，内部使用了不少技术，同时也支持插件化的扩展 内部参考处理 说明 optillm 内部支持基于litellm 的llm 服务，同时使用了不少llm的优化技巧，值得研究下，同时对于不支持openai api 的大模型，我们可以通过lite 阅读全文
posted @ 2025-01-25 08:00 荣锋亮 阅读(86) 评论(0) 推荐(0)
dora简单试用
摘要：
dora 包含服务进程可以自己安装，之后通过yaml 定义进行快速开发，以下是一个简单试用 安装dora 服务 可以直接使用cli，或者github 下载自己安装 curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.c 阅读全文
posted @ 2025-01-24 08:55 荣锋亮 阅读(96) 评论(0) 推荐(0)
pybind11 setuptools 集成试用
摘要：
pybind11 支持基于setuptools的构建，以下是一个简单试用 项目代码 结构 ├── README.md ├── mydemo │ ├── __init__.py │ └── demo.py ├── setup.py └── src └── example.cpp 代码说明 src/ex 阅读全文
posted @ 2025-01-23 08:00 荣锋亮 阅读(63) 评论(0) 推荐(0)
pybind11 native python 模块简单试用
摘要：
pybind11 是一个很不错的python c++ 互交互以及原生模块开发框架，可以快速服用c 以及c++ 周边的工具包对于python能力进行扩展 以下是一个简单使用，内容来自官方文档，主要是体验下 环境准备 我基于linux 构建，原生python 版本比较低，使用了miniconda 安装新 阅读全文
posted @ 2025-01-22 08:00 荣锋亮 阅读(74) 评论(0) 推荐(0)
probot github app开发框架
摘要：
probot 是一个github app 开发框架，同时为了方便大家的测试使用probot 还提供了有一个基于sse 的公网可用的webhook proxy 工具smee probot 包含的特性 基于nodejs 开发 开发部署简单 内置了基于smee的快速公网访问部署能力 内置了丰富的githu 阅读全文
posted @ 2025-01-21 08:00 荣锋亮 阅读(44) 评论(0) 推荐(0)
smee 基于sse 的webhook proxy 工具
摘要：
smee 是probot 提供的一个webhook proxy 工具，利用了sse 技术，可以直接将来自公网的请求代理到本地，比较适合进行测试以及用户缺少公网环境的场景 参考架构 说明 目前smee 主要应用在probot github bot 框架中，但是基于此我们也可以应用到其他场景了，代码都是 阅读全文
posted @ 2025-01-20 08:00 荣锋亮 阅读(79) 评论(0) 推荐(0)
libsql bottomless 集成minio 简单使用
摘要：
libsql 支持bottomless 可以方便的将wal数据存储在s3中（基于了虚拟wal 接口实现），以下是一个简单使用 环境准备 docker-compose 环境开启了namespace 以及集成主从服务 services: db1: image: ghcr.io/tursodatabase 阅读全文
posted @ 2025-01-19 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0)
libsql 多租户namespace模式试用
摘要：
libsql 支持基于db 分离的多租户模式，但是需要开启namespace 能力，以下是一个简单说明以及测试 开启namepace 我基于docker-compose 部署, 目前docker 部署的缺少环境变量支持，我基于了cmd 运行，核心是--enable-namespaces docker 阅读全文
posted @ 2025-01-18 08:00 荣锋亮 阅读(52) 评论(0) 推荐(0)
libsql server 复制简单使用
摘要：
libsql server 通过暴力server 模式是让sqlite 具有了远端访问能力，同时基于复制能力，可以实现高可用 参考玩法 如下图，可以看到libsql server 可以灵活的进行数据的写出来，通过wal 实现数据更新 测试&使用 docker-compose services: db 阅读全文
posted @ 2025-01-17 08:00 荣锋亮 阅读(93) 评论(0) 推荐(0)
libsql强大的sqlite fork 分支
摘要：
libsql 是fork了sqlite 但是基于rust 进行了新的开发 包含的特性 嵌入复制能力（可以是remote，也可以是local）对于需要本地以及云端能力的应用很方便 基于libsql server 让sqlite 具有了远端访问能力（同时有primary 以及replica 角色可以自动 阅读全文
posted @ 2025-01-16 08:00 荣锋亮 阅读(334) 评论(0) 推荐(0)
zenoh flow python sdk 简单说明
摘要：
zenoh flow 是zenoh 团队提供的面向data flow 的编程框架，可以提供灵活的进行数据处理，zenoh flow 提供了基于rust 以及python 的扩展能力，我们只需要进行flow 的yaml 定义就可以灵活的进行数据处理，基于rust的开发模式可能比较费事，而且有难度，ze 阅读全文
posted @ 2025-01-15 08:00 荣锋亮 阅读(46) 评论(0) 推荐(0)
chainlit 2.0 发布了
摘要：
chainlit 2.0 就在最近已经发布了，支持了不少新特性，比如一些ui 的重写，减少代码量，同时添加了对于sqlite 的支持，还有不少bug 的修复 说明 后边有空了尝试下新功能以及新版本，尤其是对于sqlite 的支持，可以简化我们对于数据持久化配置的使用（以前必须依赖pg 数据库，对于小 阅读全文
posted @ 2025-01-14 09:29 荣锋亮 阅读(154) 评论(0) 推荐(0)
zenoh rpc 内部实现简单说明
摘要：
以前简单提过zenoh rpc，整体来说功能点很不错，但是目前实现上相对简单，以下简单说明下内部实现处理 整体内部实现 整体上并没有太多特殊的地方，核心还是利用了zenoh 的declare_queryable 能力，对于服务的发现，服务访问，基于了key_exps Server 处理 参考图 如下 阅读全文
posted @ 2025-01-14 08:00 荣锋亮 阅读(82) 评论(0) 推荐(0)
zenoh perf 火焰图使用简单说明
摘要：
默认zenoh 的构建是release的进行了一些优化，但是有些时候我们希望使用火焰图进行profile，以下是一些说明 项目配置调整 cargo 项目 .cargo/config.toml [target.x86_64-unknown-linux-musl] rustflags =" -Ctarg 阅读全文
posted @ 2025-01-13 08:00 荣锋亮 阅读(76) 评论(0) 推荐(0)
zenoh client 以及peer 对于存储插件的支持配置说明
摘要：
以前说过从1.0.0开始zenoh 支持对于存储插件的配置，但是会有一些要求，就是timestamping必须开启 client 以及peer 支持存储插件配置 参考配置 "mode":"client" | "peer", "timestamping": { "enabled": { "router 阅读全文
posted @ 2025-01-12 08:00 荣锋亮 阅读(108) 评论(0) 推荐(0)
zenoh zenoh-plugin-remote-api 插件构建支持musl libc
摘要：
就在最近的zenoh 插件下载中提供了zenoh-plugin-remote-api，但是不太好的是缺少对于musl libc 的支持，实际上是可以支持的，只是构建上缺少特性 解决方法 就是自己构建，同时注意对于musl libc 的支持需要使用静态链接模式，就是构建的时候添加RUSTFLAGS=" 阅读全文
posted @ 2025-01-11 08:00 荣锋亮 阅读(58) 评论(0) 推荐(0)
npm scope 访问github npm package
摘要：
github 的npm package 都有自己的scope，但是很多时候我们是还需要其他registry 的包的，推荐的解决方法是通过.npmrc 解决 参考格式 比如我们部分package 使用的是github 的，部分使用的是npm public 的，可以通过.npmrc 配置的scope 定 阅读全文
posted @ 2025-01-10 08:00 荣锋亮 阅读(115) 评论(0) 推荐(0)
基于zenoh的简单视频查看系统设计
摘要：
zenoh 包含了灵活以及高效的数据传输能力，同时还支持数据的geo 分片持久化，基于zenoh 内置的一些插件我们就可以快速的 实现一个视频查看系统 参考图 简单说明： 我们通过程序对于视频设备的数据进行捕捉，之后通过zenoh 进行数据写入（put操作），对于zenoh router 我们配置存 阅读全文
posted @ 2025-01-09 08:00 荣锋亮 阅读(100) 评论(0) 推荐(0)
zenoh 1.0.0存储复制以及校准简单说明
摘要：
以前简单说明过，关于zenoh 1.0.0 的存储复制处理，以下从官方相对完整的介绍说明下 rust 变更部分关于存储复制校准的说明 以前简单说过新版本的如果需要复制校准，配置最好是一样的，实际这个在新版本是一个强制要求，否则是不能正常协商工作的 旧版本没有使用queryable能力（因为不支持携带 阅读全文
posted @ 2025-01-08 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0)
pybind11 进行native python 模块开发
摘要：
pybind11 是一个方便快速的基于通过c++快速开发python native 模块的框架，使用简单 支持的特性 **接受和返回自定义数据结构的函数**，可以按值传递、按引用传递或通过指针传递 **实例方法和静态方法** **重载函数** **实例属性和静态属性** **任意异常类型** **枚 阅读全文
posted @ 2025-01-07 08:00 荣锋亮 阅读(95) 评论(0) 推荐(0)
pip 离线包下载一些方法
摘要：
有些时候我们需要进行离线下载pip包，方法很多，以下简单说明几种方法 pip download 会包含依赖，比较推荐的方法 pip download requests -d ./offline_packages pip wheel 可以下载whl 格式的包，但是只是单一包，缺少依赖相关的 pip w 阅读全文
posted @ 2025-01-06 08:00 荣锋亮 阅读(734) 评论(0) 推荐(0)
zenoh webserver SUB 的一个bug
摘要：
此问题在1.0.0 中存在，1.0.1 已经解决了，重新替换插件就可以了，老版本sub 对于如下格式的不能生效 <keey_expre>?_method=SUB 参考资料 https://github.com/eclipse-zenoh/zenoh-plugin-webserver https:// 阅读全文
posted @ 2025-01-05 08:00 荣锋亮 阅读(22) 评论(0) 推荐(0)
zenoh 支持的配置参数
摘要：
zenoh 官方文档只是简单的说明了下zenoh的配置，实际相对完整的在github 中有一个示例DEFAULT_CONFIG.json5 对于实际了解这些参数还是比较有用的，有利于进行优化以及结合实际进行zenoh 部署的调整 参考资料 https://zenoh.io/docs/migratio 阅读全文
posted @ 2025-01-04 08:00 荣锋亮 阅读(231) 评论(0) 推荐(0)
opencv python pip mac 安装一个问题
摘要：
opencv 对于不同平台实际已经提供了abi3 兼容的whl 文件，我们可以直接下载快速安装，而不是pip 安装的时候进行构建会特别慢 但是对于mac 版本有一些问题 问题说明 现有whl的格式opencv_python-4.10.0.84-cp37-abi3-macosx_12_0_x86_64 阅读全文
posted @ 2025-01-03 08:00 荣锋亮 阅读(89) 评论(0) 推荐(0)
浙公网安备 33010602011771号