Exchangis1.0演讲稿
背景
Exchangis 1.0.0 是微众银行大数据平台 WeDataSphere 与社区用户共同研发的的新版数据交换工具,支持异构数据源之间的结构化和非结构化数据传输同步。
场景和价值
数据交换工具,打破信息孤岛
Exchangis 抽象了一套统一的数据源和同步作业定义插件
基于linkis1.x版本架构
Exchangis 的同步作业转换成 Linkis 数据同步引擎的数据同步作业
核心特点
轻量化的数据源管理
高稳定,快响应的数据同步任务执行
与DSS工作流打通,一站式大数据开发的门户
架构设计
架构设计-数据源管理
在Exchangis里面,由于前端需要根据不同的数据源展示不同的数据源同步参数,甚至有时候
映射关系也不尽相同。我们在介绍数据源时,会同步介绍数据源模块是如何与前端进行联动,
最终达到一个同步任务的创建的。
ExchangisDataSource与Linkis DataSource和Streamis DataSource的区别:
- Linkis DataSource和Streamis DataSource主要用于向Exchangis提供数据源的连接信息和元数据信息;
- ExchangisDataSource是在Linkis和Streamis DataSource的基础之中,构建的面向Exchangis
Job定义和创建的数据源,它包含了一个底层数