cocoindex 面向ai 的数据转换框架

cocoindex 面向ai 的数据转换框架基于rust开发，提供了python sdk，提供了基于data flow 的数据开发模式，支持增量数据更新

支持embedding 方便构建知识库，同时提供了超越sql 的数据处理能力

内置的一些操作

• source 支持本地文件，s3，googledrive
• 函数支持json解析，递归拆分，就有llm的提取，基于tranformer 的embed
• target 支持pg，一些场景图数据库，以及向量引擎
• 对于llm的支持，包含了文本生成以及文本嵌入
• 内部基于index 的flow 操作

参考flow index 操作

如下图，一个基于文件的文本向量化存储pg的

说明

对于cocoindex 支持基于cli 以及通过python代码进行flow 的执行，支持增量模式的嵌入处理，还是挺方便的，值得尝试下

参考资料

https://github.com/cocoindex-io/cocoindex