pathway python 流处理ETL框架

pathway python 流处理ETL框架，可以用来进行实时分析以及LLM pipeline，rag 等

包含的特性

• 超过300+ 的connectors，包含了不同领域的集成，db，api，分布式存储，文件系统等，同时可以灵活的进行开发
• 支持无状态以及有状态的转换处理
• 任务状态持久化，可以对于任务基于状态的进行恢复
• 一致性处理，pathway 可以对于任务的的时间进行处理（比如延迟任务）缺少数据处理的语义
• 可扩展的rust 引擎，支持多线程，多进程，以及分布式引擎等
• LLM 助手，pathway 提供了一些可以方便LLM 处理的能力，有助于LLM 应用的开发

说明

pathway 内部基于rust 开发（timely），是一个很值得试用的流处理框架，但是目前注意license 许可是BSL1.1的，不能商用（需要等待时间，会自动调整license）

参考资料

https://github.com/pathwaycom/pathway