openmetadata connector 开发简单说明

主要说明开发流程，后续说明具体的开发

参考流程

包含的内容（source，processor，sink） 以及特殊的stage 以及bulksink

1. wokrlfow 从source 过去record
2. 如果 processor 配置了，workflow 发送数据到processor
3. 如果配置多个processor 将会基于顺序处理
4. processor 处理完成之后回到sink
5. 重复执行 
   如果需要进行聚合操作，可以使用stage 可以写到其他的file 或者外部存储中，然后就可以使用bulk sink 打不到openmetadata 
   或者es 中

说明

openmetadata 的机制还是比较健全的，而且还是比较清晰简单

参考资料

https://docs.open-metadata.org/open-source-community/developer/build-a-connector
https://github.com/open-metadata/OpenMetadata/tree/main/ingestion/src/metadata/ingestion/api
https://docs.open-metadata.org/open-source-community/developer/build-a-connector/stage
https://docs.open-metadata.org/open-source-community/developer/build-a-connector/bulksink