chainlit 2.0 试用
摘要：
就是对于chanlit 2.0 的一个试用，测试下对于sqlite 的支持 环境准备 docker-compose 主要是部署minio s3，可选的 services: minio: image: minio/minio command: server /data --console-addres 阅读全文
posted @ 2025-04-25 08:00 荣锋亮 阅读(98) 评论(0) 推荐(0)
browser-use cdp 协议支持的配置
摘要：
主要是对于配置的一个简单说明 参考代码 核心是bwoser 对象的配置 agent = Agent( task="Navigate to https://cnblogs.com/rongfengliang, 总结最近博客内容", llm=llm, controller=Controller(), b 阅读全文
posted @ 2025-04-24 08:00 荣锋亮 阅读(169) 评论(0) 推荐(0)
browser-use 基于LLM 的web 内容搜索agent
摘要：
browser-use 基于LLM 的web 内容搜索agent，可以方便的进行web content 内容的处理，同时新版本已经支持cdp协议了，可以不用本地通过playwright install 安装浏览器了 说明 browser-use 是很不错，但是目前测试ollama 以及deepsee 阅读全文
posted @ 2025-04-23 08:00 荣锋亮 阅读(79) 评论(0) 推荐(0)
litserve 的callback 以及中间件简单说明
摘要：
对于中间件实际上就是fastapi 内部或者starlette的一些能力，使用比较简单，callback 比较有用 中间件使用 参考 from starlette.middleware.cors import CORSMiddleware import litserve as ls if __nam 阅读全文
posted @ 2025-04-22 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0)
litserve 的认证机制简单说明
摘要：
litserve 已经内置了认证能力可以通过token（环境变量模式）以及通过自定义请求头 模式 内部token 模式 LIT_SERVER_API_KEY=A_SECRET_KEY python server.py 访问 import requests # Define the API key i 阅读全文
posted @ 2025-04-21 08:00 荣锋亮 阅读(42) 评论(0) 推荐(0)
blinker 简单试用
摘要：
以前简单说过blinker的能力，以下是一个简单试用说明 简单试用 app.py from blinker import signal # 定义发送的 class Processor: def __init__(self,name): self.name = name def go(self, da 阅读全文
posted @ 2025-04-20 08:00 荣锋亮 阅读(35) 评论(0) 推荐(0)
onnx-simplifier 简化onnx 的工具
摘要：
onnx-simplifier 对于onnx 模型进行了一些优化，省去了生成的一些复杂操作，目前也有不少模型使用到此工具 说明 onnx 格式的模型文件在实际业务中使用率还是很高的，结合onnx-simplifier 工具对于模型进行一些精简操作还是很有用的，值得试用下 参考资料 https://g 阅读全文
posted @ 2025-04-19 08:00 荣锋亮 阅读(371) 评论(0) 推荐(0)
milvus-lite lite 版本的milvus
摘要：
milvus-lite 属于轻量级版本的milvus，提供了与milvus基本一致的体验，通过pymilvus 我们可以直接使用（指定地址为文件，而不是url） 支持的特性 功能上，包含了insert，upsert，向量数据持久化以及集合管理，密集、稀疏、混合向量搜索、元数据过滤、多向量支持 索引类 阅读全文
posted @ 2025-04-18 08:00 荣锋亮 阅读(321) 评论(0) 推荐(0)
litserve 的多endpoint 处理
摘要：
默认litserve在处理的时候只支持一个endpoint 但很多时候我们可能需要配置多个，比如推理服务多个地址，或者同时希望基于litserve 添加一些其他endpoint 进行接口提供（配置以及信息维护的），目前来说是有方法进行配置管理上的多endpoinnt（通过litserve内部包装的f 阅读全文
posted @ 2025-04-17 08:00 荣锋亮 阅读(48) 评论(0) 推荐(0)
sql-flow 基于duckdb 的流数据处理工具
摘要：
基于duckdb 的流数据处理，支持基于sql 的kafka stream处理，同时也支持webhooks 使用场景 stream 数据转换，清理以及发布新数据类型 stream 数据增强，添加新的，并发布新数据 数据聚合，聚合输入数据进行批处理，减少数据大小 时间窗口支持 支持webhook so 阅读全文
posted @ 2025-04-16 08:00 荣锋亮 阅读(145) 评论(0) 推荐(0)
socketify websocket 简单试用
摘要：
内容来自官方示例，主要是体验下webssocket的发布订阅能力 参考代码 app.py from socketify import App, CompressOptions def ws_open(ws): print("A WebSocket got connected!") # Let thi 阅读全文
posted @ 2025-04-15 08:00 荣锋亮 阅读(27) 评论(0) 推荐(0)
socketify 高性能web框架
摘要：
socketify 是一个支持pypy3 以及python3的高性能web 框架，支持http 以及websockets 协议 包含的特性 对于websocket 扩展了pub/sub 协议 快速可靠的http以及https 跨平台支持 支持pypy3 以及cpython 基于通配符的动态url 路 阅读全文
posted @ 2025-04-14 08:00 荣锋亮 阅读(36) 评论(0) 推荐(0)
diskcache 简单试用
摘要：
对于diskcache的特性以前简单介绍过 参考使用 diskcache 包含了好几种类型，比如默认的Cache，支持分片的FanoutCache，Django 兼容的，支持的操作包含了get，set，incr，decr add，delete,pop，touch，evict，clear，reset， 阅读全文
posted @ 2025-04-13 08:00 荣锋亮 阅读(114) 评论(0) 推荐(0)
blinker python 进程级的信号以及事件处理包
摘要：
blinker python 进程级的信号以及事件处理包, 可以用来实现一些业务操作解耦 包含的特性 注册全局信号名 匿名信号 自定义注册名称 永久以及临时连接接受者 基于弱引用的自动关闭接受者 发送任意数据 收集来自信号的返回值 线程安全 提供了基于装饰器的方便处理 支持异步接受者 说明 blin 阅读全文
posted @ 2025-04-12 08:00 荣锋亮 阅读(55) 评论(0) 推荐(0)
diskcache 基于磁盘的python cache包
摘要：
diskcache 是一个使用磁盘作为底层存储的python cache 包兼容Django 的cache模式 包含的特性 纯python 文档完整 进行了相对全面的性能比较 100% 代码覆盖 进行了小时级别的压力测试 Django 兼容的api 线程以及进程安全 支持lru以及lfu 策略 ke 阅读全文
posted @ 2025-04-11 08:00 荣锋亮 阅读(160) 评论(0) 推荐(0)
pathway 简单试用
摘要：
注意pathway 智能在linux以及mac系统中运行 试用 基于了官方提供的简单示例 安装 最好使用虚拟环境 pip install pathway app.py 实际上就是一个读取sum_input_data 目录里边的csv内容，然后汇总计算总和 import pathway as pw c 阅读全文
posted @ 2025-04-10 08:00 荣锋亮 阅读(52) 评论(0) 推荐(0)
pathway python 流处理ETL框架
摘要：
pathway python 流处理ETL框架，可以用来进行实时分析以及LLM pipeline，rag 等 包含的特性 超过300+ 的connectors，包含了不同领域的集成，db，api，分布式存储，文件系统等，同时可以灵活的进行开发 支持无状态以及有状态的转换处理 任务状态持久化，可以对于 阅读全文
posted @ 2025-04-09 08:00 荣锋亮 阅读(169) 评论(0) 推荐(0)
httpimport 内部处理简单说明
摘要：
以前也简单说明了下httpimport 的功能。实际内部是对于python import 语义的实现，只是没有明确的基于继承的模式 标准模块finder 以及loader 的处理 由importlib.abc.Loader 以及importlib.abc.MetaPathFinder定义的 clas 阅读全文
posted @ 2025-04-08 08:00 荣锋亮 阅读(33) 评论(0) 推荐(0)
browser-use方便提取web内容的ai agent
摘要：
browser-use 内部实际上是利用了langchain+playwright 进行的浏览器内容自动处理 agent 包含的特性 视觉+html 提取 自动多页签管理 基于xpath的llm action 内容提取 可以添加自定义action （保存文件，同时，数据库存放） 自关联 使用任何la 阅读全文
posted @ 2025-04-07 08:00 荣锋亮 阅读(103) 评论(0) 推荐(0)
httpimport 简单试用
摘要：
以前简单说明过httpimport 的功能，以下尝试下使用，同时对于问题做一些简单的说明 参考代码 app.py import httpimport with httpimport.pypi_repo(): from hashids import Hashids print(Hashids.__di 阅读全文
posted @ 2025-04-06 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0)
httpimport 通过https 加载远程python 模块的包
摘要：
httpimport 这个包比较有意思，弥补了python 缺少通过http 协议加载模块的能力（类似deno 加载模式） 支持的加载模式 http pypip github 支持归档模式的包 支持任何基于http的包 一些配置 httpimport还支持基于profile 的配置，可以进行一些自定 阅读全文
posted @ 2025-04-05 08:00 荣锋亮 阅读(24) 评论(0) 推荐(0)
lance 集成minio 简单试用
摘要：
属于一个简单试用，学习下内部处理以及集成minio 参考代码 app.py import lance import pyarrow as pa import duckdb new_table = pa.Table.from_pylist([{"name": "Bob", "age": 30}, {" 阅读全文
posted @ 2025-04-04 08:00 荣锋亮 阅读(88) 评论(0) 推荐(0)
lance 基于rust 开发的方便ml&&llm的现代列式数据格式
摘要：
lance 基于rust 开发的方便ml&&llm的现代列式数据格式 包含的特性 高性能的随机访问 向量搜索 令拷贝，自动版本化 生态集成，apache arrow 周边的 说明 lancedb 内部就是基于此进行的向量处理，lance 支持各类存储，可以实现灵活的扩展，同时也可以很好的与panda 阅读全文
posted @ 2025-04-03 08:00 荣锋亮 阅读(283) 评论(0) 推荐(0)
sqlflite 一个参考flight sql server 实现
摘要：
sqlflite 是一个参考flight sql server 实现，内部可以使用duckdb 以及sqlite 等数据库 参考使用 docker-compose 文件 services: db: image: voltrondata/sqlflite:latest ports: - 31337:3 阅读全文
posted @ 2025-04-02 08:00 荣锋亮 阅读(37) 评论(0) 推荐(0)
修复flight-sql-js-client 支持连接dremio
摘要：
flight-sql-js-client 是基于grpc+ arrow flight 的原生arrow flight sql client，上次我也说过连接dremio 是有问题的，通过实际上的分析（结合wireshark 以及jave remote debug） 发现实际的请求是可以处理成功的，而 阅读全文
posted @ 2025-04-01 08:00 荣锋亮 阅读(36) 评论(0) 推荐(0)
delegator.py 处理子进程调用的包
摘要：
delegator.py 是受envoy 以及pexpect 启发的一个子进程处理报，此模块主要提供了两个方法，run 以及chain，整体上使用简单 参考使用 run 模式 import delegator c = delegator.run('ls') print(c.out) chain 模式 阅读全文
posted @ 2025-03-31 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0)
lancedb 使用minio s3 作为存储
摘要：
lancedb 是一个灵活高效的向量数据库，提供了方便的存储模式支持（本地以及对象存储的）以下是关于集成minio s3 的一个简单示例 代码 s3-lance.py import lancedb from lancedb.pydantic import LanceModel, Vector # 注 阅读全文
posted @ 2025-03-30 08:00 荣锋亮 阅读(247) 评论(0) 推荐(0)
集成PyTables + pandas + duckdb 进行数据查询
摘要：
以前简单说明过PyTables，同时pandas 直接支持基于此包的hdf5操作，实际上我们可以将几个集成起来 参考玩法 如下图，基于PyTables的table 格式写入数据到hdf5中，然后通过pandas 加载为dataframes，之后通过duckdb 直接进行查询 可以实现灵活的数据写入， 阅读全文
posted @ 2025-03-29 08:09 荣锋亮 阅读(119) 评论(0) 推荐(0)
flight-sql-js-client 又一个flight-sql-js client
摘要：
flight-sql-js-client 是基于node+ grpc 编写的一个flight-sql-js client，实际上还有一个flight-sql-client-node 基于napi-rs 开发的 说明 目前测试集成dremio的flight sql 没有成功，后边分析下原因，目前基于a 阅读全文
posted @ 2025-03-29 08:00 荣锋亮 阅读(26) 评论(0) 推荐(0)
atomic-agents 原子化agent 框架
摘要：
atomic-agents 提出了自己的的原子化agent 开发方案，尝试去解决传统agent 框架的一些问题 包含的特点 模块化，支持通过小以及可重用的组件解决ai 应用问题 可预测，基于清晰的输入以及输出schema，确保一致性的行为 可扩展，可以方便的进行集成，而不对于整个系统造成影响 可控制 阅读全文
posted @ 2025-03-28 08:00 荣锋亮 阅读(116) 评论(0) 推荐(0)
flet 简单试用
摘要：
主要是基于官方文档对于flet进行一个简单试用 环境准备 推荐基于虚拟环境 准备 python -m venv venv source venv/bin/activate 安装flet 依赖 pip install flet 创建简单项目 flet create . 效果 启动 flet run 效 阅读全文
posted @ 2025-03-27 08:00 荣锋亮 阅读(167) 评论(0) 推荐(0)
flet 基于python的跨平台应用开发框架
摘要：
flet是一个语言无关的跨平台开发框架，当前支持python，内部基于了flutter 包含的特性 快发快速 简单架构 包含了丰富的组建 基于flutter 语言无关，当前已经支持的是python，当然其他语言也是支持的 跨平台，跨设备部署 说明 flet 项目挺有意思的，值得研究学习下，后边介绍下 阅读全文
posted @ 2025-03-26 08:00 荣锋亮 阅读(257) 评论(0) 推荐(0)
ape-dts 基于rust 的数据同步工具
摘要：
ape-dts 是基于rust 开发的数据同步工具，提供了不少数据库同步的支持，以及不同模式 包含的特性 支持各类数据库，包含了异构以及同构类型的 支持快照以及cdc的任务，可以从断点恢复 支持检查以及查看数据 支持数据库，表，列级别的过滤 支持不同的并行算法可以提升性能 支持基于lua 脚本的ud 阅读全文
posted @ 2025-03-25 08:00 荣锋亮 阅读(227) 评论(0) 推荐(0)
jug 的屏障机制
摘要：
很多时候我们对于任务依赖的数据进行控制，比如任务依赖上一个计算，但是实际计算比较慢 如下代码,实际执行就会有问题 from jug import Task inputs = load_data() def keep(datum): # A long running computation which 阅读全文
posted @ 2025-03-24 08:00 荣锋亮 阅读(16) 评论(0) 推荐(0)
jug 任务构造简单说明
摘要：
jug 是基于任务进行并行化的，官方提供了一些构造任务的建议 建议 任务应该在一些秒内就可以运行，同时应该有足够的任务确保处理器没有空闲 任务标识 jug 基于hash 为每个任务构建唯一标识符，但是有一些缺陷 如果参数上过长，可能hash 比较耗时 jug 可能不确定参数如何处理 任务参数可能等价 阅读全文
posted @ 2025-03-23 08:00 荣锋亮 阅读(40) 评论(0) 推荐(0)
jug 支持的数据类型
摘要：
理论上jug 支持各类只要是可以pickle的数据类型，但是在实际使用中，推荐简单化，这样可以减少通信开销 一个案例 原始 from glob import glob from mahotas import imread def process(img): # complex image proce 阅读全文
posted @ 2025-03-22 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0)
jug 提前退出配置简单说明
摘要：
jug 支持一些参数，可以对于执行尽早退出，以下是一些参数说明 配置运行最大时间 包含了JUG_MAX_HOURS，JUG_MAX_MINUTES，JUG_MAX_SECONDS 等变量 代码配置模式 from jug.hooks.exit_checks import exit_after_time 阅读全文
posted @ 2025-03-21 08:00 荣锋亮 阅读(10) 评论(0) 推荐(0)
jug 简单使用
摘要：
jug 提供了cli 命令可以方便的进行任务执行以及监控，以下是关于多实例运行的一个示例 任务开发 就是一个计算平方的 tasks.py from jug import TaskGenerator import time @TaskGenerator def slow_task(i): time.s 阅读全文
posted @ 2025-03-20 08:00 荣锋亮 阅读(33) 评论(0) 推荐(0)
jug python 并行编程包
摘要：
jug python 并行编程包，目前内部包含了二类backend，基于文件的，以及基于redis 的，当然还有一种基于内存的 包含的特点 任务分布式处理：可以在多个 CPU 核心或多个机器之间分配任务。 基于文件的任务存储：通过文件系统保存任务状态和结果，确保任务的幂等性。 易于集成：任务以 Py 阅读全文
posted @ 2025-03-19 08:00 荣锋亮 阅读(19) 评论(0) 推荐(0)
markitdown微软开源的文档转markdown 工具包
摘要：
markitdown微软开源的文档转markdown 工具包，支持各类文档的处理 支持的格式 pdf，offiice 文档，图片，html，音频，基于文本的格式，zip文件等 说明 目前测试效果上还可以，但是对于一些文档的效果并不是特别好，对于pdf 文档的，比较推荐的是基于pymupdf 这个包 阅读全文
posted @ 2025-03-18 08:00 荣锋亮 阅读(239) 评论(0) 推荐(0)
浙公网安备 33010602011771号