sql-flow 基于duckdb 的流数据处理工具

基于duckdb 的流数据处理，支持基于sql 的kafka stream处理，同时也支持webhooks

使用场景

• stream 数据转换，清理以及发布新数据类型
• stream 数据增强，添加新的，并发布新数据
• 数据聚合，聚合输入数据进行批处理，减少数据大小
• 时间窗口支持
• 支持webhook source 的sql 查询

包含的特性

• stream sql
• 自定义序列化以及编码
• 时间窗口聚合
• 静态表关联，比如csv等静态数据

说明

sql-flow 是基于yaml 配置进行处理的，使用上还是比较简单的，可以研究学习下

参考资料

https://github.com/turbolytics/sql-flow