filament 插件化数据复制框架

filament 插件化数据复制框架

工作原理

Filament 流水线将源端连接到接收端，并定义选定资源应如何复制。在一次运行期间，Filament 将记录抽取为有界批次，写入并验证每个批次，并且只有在相关工作成功完成后才推进持久化检查点。运行时是事件驱动的：服务器接受流水线和运行请求，控制平面负责调度和分派工作，工作进程执行各个运行。PostgreSQL 存储持久状态，NATS JetStream 在组件之间传递生命周期事件

说明

filament 是一个比较新的项目，同时还可以作为嵌入式的包使用（golang），可以学习下

参考资料

https://filament.getgalaxy.io/pages/connectors/overview/introduction

https://github.com/galaxy-io/filament

https://filament.getgalaxy.io/pages/guides/concepts/architecture

https://filament.getgalaxy.io/pages/guides/usage/embedded