rongfengliang-荣锋亮

摘要：delegator.py 是受envoy 以及pexpect 启发的一个子进程处理报，此模块主要提供了两个方法，run 以及chain，整体上使用简单 参考使用 run 模式 import delegator c = delegator.run('ls') print(c.out) chain 模式 阅读全文

摘要：lancedb 是一个灵活高效的向量数据库，提供了方便的存储模式支持（本地以及对象存储的）以下是关于集成minio s3 的一个简单示例 代码 s3-lance.py import lancedb from lancedb.pydantic import LanceModel, Vector # 注 阅读全文

摘要：以前简单说明过PyTables，同时pandas 直接支持基于此包的hdf5操作，实际上我们可以将几个集成起来 参考玩法 如下图，基于PyTables的table 格式写入数据到hdf5中，然后通过pandas 加载为dataframes，之后通过duckdb 直接进行查询 可以实现灵活的数据写入， 阅读全文

摘要：flight-sql-js-client 是基于node+ grpc 编写的一个flight-sql-js client，实际上还有一个flight-sql-client-node 基于napi-rs 开发的 说明 目前测试集成dremio的flight sql 没有成功，后边分析下原因，目前基于a 阅读全文

摘要：atomic-agents 提出了自己的的原子化agent 开发方案，尝试去解决传统agent 框架的一些问题 包含的特点 模块化，支持通过小以及可重用的组件解决ai 应用问题 可预测，基于清晰的输入以及输出schema，确保一致性的行为 可扩展，可以方便的进行集成，而不对于整个系统造成影响 可控制 阅读全文

摘要：主要是基于官方文档对于flet进行一个简单试用 环境准备 推荐基于虚拟环境 准备 python -m venv venv source venv/bin/activate 安装flet 依赖 pip install flet 创建简单项目 flet create . 效果 启动 flet run 效 阅读全文

摘要：flet是一个语言无关的跨平台开发框架，当前支持python，内部基于了flutter 包含的特性 快发快速 简单架构 包含了丰富的组建 基于flutter 语言无关，当前已经支持的是python，当然其他语言也是支持的 跨平台，跨设备部署 说明 flet 项目挺有意思的，值得研究学习下，后边介绍下 阅读全文

摘要：ape-dts 是基于rust 开发的数据同步工具，提供了不少数据库同步的支持，以及不同模式 包含的特性 支持各类数据库，包含了异构以及同构类型的 支持快照以及cdc的任务，可以从断点恢复 支持检查以及查看数据 支持数据库，表，列级别的过滤 支持不同的并行算法可以提升性能 支持基于lua 脚本的ud 阅读全文

摘要：很多时候我们对于任务依赖的数据进行控制，比如任务依赖上一个计算，但是实际计算比较慢 如下代码,实际执行就会有问题 from jug import Task inputs = load_data() def keep(datum): # A long running computation which 阅读全文

摘要：jug 是基于任务进行并行化的，官方提供了一些构造任务的建议 建议 任务应该在一些秒内就可以运行，同时应该有足够的任务确保处理器没有空闲 任务标识 jug 基于hash 为每个任务构建唯一标识符，但是有一些缺陷 如果参数上过长，可能hash 比较耗时 jug 可能不确定参数如何处理 任务参数可能等价 阅读全文

摘要：理论上jug 支持各类只要是可以pickle的数据类型，但是在实际使用中，推荐简单化，这样可以减少通信开销 一个案例 原始 from glob import glob from mahotas import imread def process(img): # complex image proce 阅读全文

摘要：jug 支持一些参数，可以对于执行尽早退出，以下是一些参数说明 配置运行最大时间 包含了JUG_MAX_HOURS，JUG_MAX_MINUTES，JUG_MAX_SECONDS 等变量 代码配置模式 from jug.hooks.exit_checks import exit_after_time 阅读全文

摘要：jug 提供了cli 命令可以方便的进行任务执行以及监控，以下是关于多实例运行的一个示例 任务开发 就是一个计算平方的 tasks.py from jug import TaskGenerator import time @TaskGenerator def slow_task(i): time.s 阅读全文

摘要：jug python 并行编程包，目前内部包含了二类backend，基于文件的，以及基于redis 的，当然还有一种基于内存的 包含的特点 任务分布式处理：可以在多个 CPU 核心或多个机器之间分配任务。 基于文件的任务存储：通过文件系统保存任务状态和结果，确保任务的幂等性。 易于集成：任务以 Py 阅读全文

摘要：markitdown微软开源的文档转markdown 工具包，支持各类文档的处理 支持的格式 pdf，offiice 文档，图片，html，音频，基于文本的格式，zip文件等 说明 目前测试效果上还可以，但是对于一些文档的效果并不是特别好，对于pdf 文档的，比较推荐的是基于pymupdf 这个包 阅读全文

摘要：pymupdf 是基于mupdf 的python pdf 处理包，相比其他python pdf 包提供了不少特性 包含的特性 支持的pdf 操作模式比较多 支持较多的文档类型（但是部分是需要收费的） 高性能 对于面向llm 应用开发处理支持比较好（基于pymupdf4llm 扩展） 说明 对于面向文 阅读全文

摘要：很早以前我简单介绍过基于winsw 的nginx 服务启动处理，以下简单说明下tomcat 处理的 app配置 配置JAVA_HOME 以及CATALINA_HOME app.xml <service> <id>tomcat</id> <name>tomcat</name> <description 阅读全文

摘要：myduckserver 基于duckdb的分析服务，基于mysql 以及pg 协议进行dduckdb 得到访问 包含的特性 基于duckdb 的快速olap 分析 mysql 兼容接口 pg 兼容接口 duckdb 强大能力 zero-etl 支持订阅以及实时复制 htap 架构支持 批量上传以及 阅读全文

摘要：api 层面 liveliness 功能，目前还标记为不稳定 新的querier api 添加 高级发布以及订阅api 的扩展，提升系统的容错能力 zenoh-pico 新的手工批处理api 提升吞吐 添加liveliness支持 支持raspberry pi Ros2 bridge 更好的支持ro 阅读全文

摘要：sermant 基于java 字节码增强的云原生无代理服务网络框架 包含的特性 非侵入，基于java 字节码可以实现零侵入的服务治理 插件化，功能插件化，支持动态挂在，开发方便 高性能，无代理架构无需跨进程通信，降低请求时延以及资源占用 参考架构 说明 sermant 是一个cncf 沙箱项目，还是 阅读全文

摘要：JayDeBeApi 是一个python 包基于JPyte 可以实现利用db-api 2.0 协议访问支持jdbc 访问的数据库 一个简单使用示例 sql.py import jaydebeapi conn = jaydebeapi.connect("org.hsqldb.jdbcDriver", 阅读全文

摘要：主要是对于功能的一个体验，测试几个功能 rpc模式代码 注意依赖了amqp协议，需要先部署服务 rabbitmq 服务 services: rabbitmq: image: rabbitmq:3-management ports: - "5672:5672" - "15672:15672" envi 阅读全文

摘要：kiwipy 方便开发rpc&任务队列&广播的python消息库，目前主要应用在aiidateam 项目中 包含的特性 每秒1000次的消息处理 高强健，不会在连接异常的时候丢失消息 原生支持rabbitmq 接口 支持任务队列，广播，rpc 支持线程以及协程模式的连接 支持python 3.7+ 阅读全文

摘要：简单说明下kombu transport查找的处理，方便学习自定义broker的处理 Connection 处理 def __init__(self, hostname='localhost', userid=None, password=None, virtual_host=None, port= 阅读全文

摘要：简单了解celery broker 连接参数的配置以及内部处理可以有助于更好的使用celery 以及开发自己的broker 支持 一个参考broker配置 redis redis://:password@hostname:port/db_number 自定义broker app = Celery( 阅读全文

摘要：celery 对于broker实际上是可以支持不少的，只是目前提供了一些简单说明 参考格式 redis redis://:password@hostname:port/db_number rabbitmq broker_url = 'amqp://myuser:mypassword@localhos 阅读全文

摘要：honcho 使用 Foreman的 python实现，可以实现灵活的服务启动管理 参考使用 比如一个一个celery 启动的 创建Procfile文件 woker1: celery -A app worker -l INFO --queues queue1 woker2: celery -A ap 阅读全文

摘要：slatedb 是基于rust 开发的，数据存储层基于对象存储的嵌入式数据库 包含的特性 集成对象存储的持久性 零磁盘架构（利用对象存储） 简单复制（利用对象存储） 可调整的性能 读缓存 支持事物写（规划中，暂未实现） 快照隔离（规划中，暂未实现） 写隔离，可以阻止僵尸进程的影响 插件化的压缩处理 阅读全文

摘要：kombu 是celery 团队开发的一个python 消息库，基于此库可以方便的进行amqt 语义api 的消息通信 包含的特性 支持插件化的消息通道机制，比如py-amqt, pyro,mongodb,redis 支持对于消息负载的自动编码，序列化，压缩 跨通道的一致异常处理 对于连接以及cha 阅读全文

摘要：主要是一个体验，内容来自官方文档 参考代码 app.py from datachain import Column, DataChain meta = DataChain.from_json("gs://datachain-demo/dogs-and-cats/*json", object_name 阅读全文

摘要：datachain 提供了方便进行多模态ai 数据的etl 以及分析能力 使用场景 多模态的数据准备以及数据治理 生成式ai 数据分析 特性 多模态数据集版本支持，支持数据以及元数据的统一持久化管理 python 友好，支持并行高效内存计算 数据增强以及处理，基于本地ai 模型或者llm api 生 阅读全文

摘要：celery 对于celery 实例的处理比较有意思，没有的会创建默认的，如果定义了会基于python 的threading.local 进行引用，所以我们会看到 celery 一些代码使用上比较有意思（group，chain等，不需要明确指定app 就可以进行任务的创建以及数据获取） 一个简单通过 阅读全文

摘要：dramatiq 是基于python3开发的分布式任务处理库 设计原则 高可靠性和高性能 简单易懂的核心 约定高于配置 与其他对比 官方提供了一个表还是值得参考的 说明 以上表很值得参考，后边会介绍下使用 参考资料 https://github.com/Bogdanp/dramatiq https: 阅读全文