openmetadata pipelineservice client 处理机制

pipelineservice client 实现了pipeline的创建以及调度处理

机制

• 通用schema 生成通用实体
• 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
• 实现具体的client 比如airflow
• IngestionPipelineRepository 会使用client 进行实际上的创建，IngestionPipelineResource 提供rest api

接口定义

 

 

说明

目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务，没有开发自己的，核心是进行包装，预计后边会支持更多的pipeline 服务

参考资料

https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-service/src/main/java/org/openmetadata/service/util/PipelineServiceClient.java