数据治理--数据中台技术选型相关

1. 数据源层

定义：所有原始数据来源，中台的输入源头。

解析：选型时要评估中台对各类数据源的连接器适配能力，不能只支持数据库，还要支持文件、API、消息队列、离线 Excel 台账。

数据源清单：关系型数据库（MySQL、Oracle、达梦、南大通用、高斯）；消息队列 Kafka；文件（csv、excel、pdf、试验文档）；API 接口；日志、IoT 设备数据。

2. 数据采集 / 集成层（数据同步层）

定义：负责把异构源的数据抽取到中台存储，包含全量同步、增量同步、CDC 变更捕获、文件接入、API 拉取。

解析：核心能力：连接器丰富度、增量同步策略（update_time、binlog CDC）、脏数据容错、任务监控告警。

对比维度	DataX	Apache SeaTunnel	Kettle (PDI)
核心定位	离线批量数据同步工具	分布式批流一体数据集成平台	全功能可视化 ETL 工具
架构模式	单机多线程，无原生集群	原生分布式集群，高可用	单机为主，Carte 轻量集群
批流支持	仅离线批处理	批流一体（离线 + 实时 CDC）	以批处理为主，实时能力弱
数据转换能力	弱（仅字段映射、简单类型转换）	中等（基础转换，复杂逻辑依赖引擎）	极强（上百种组件，支持复杂加工）
可视化开发	无，纯 JSON 配置	有 Web UI，以 SQL / 配置为主	极强，拖拽式图形化开发
吞吐量性能	高（单机数万～十万行 / 秒）	极高（分布式集群线性扩展）	低（单机数千～数万行 / 秒）
分布式能力	无原生，依赖外部调度系统	原生支持，故障转移 + 负载均衡	弱，集群能力有限
CDC 实时同步	不支持，需二次开发	原生支持多数据源 CDC	支持但性能弱、生态差
运维复杂度	低，部署无额外依赖	中等，需管理集群与引擎	单机低、集群高
适用数据量级	GB~TB 级离线数据	TB~PB 级批流数据	GB 级以内中小数据量
核心适配生态	国内调度工具、离线数仓	大数据生态、实时数仓	传统 BI、关系型数据库生态

（1）SeaTunnel 到底是做什么的？

SeaTunnel 是一个分布式批流一体的数据集成 / 数据同步工具，核心定位是「数据搬运工」，主打 EtLT 模式（抽取 - 轻量转换 - 加载）

（2）和 Flink/Spark 的本质区别？

• Flink/Spark 是通用计算引擎：相当于万能加工厂，既能做简单搬运，也能做复杂的聚合、关联、窗口计算等深度加工，但需要写代码开发。
• SeaTunnel 是专门的数据同步工具：相当于专业运输车队，只专注于 “把数据从 A 点搬到 B 点”，内置了上百种数据源的适配，写个配置文件就能用，不用写代码；但复杂业务计算不是它的强项。

SeaTunnel 本身支持三种底层执行引擎：自研的 Zeta 引擎（轻量，专门为数据同步优化）、Flink、Spark。你可以理解为：运输车队可以用自己的发动机，也可以用 Flink/Spark 的发动机，自己专注于路线规划和货物装卸。

搬数据用 SeaTunnel，算数据用 Flink/Spark。

3. 存储层（数仓、数据湖、OLAP）

定义：存放 ODS/DWD/DWS/ADS 各分层数据；原始湖数据、分析结果数据。

解析：分为 MPP 数仓、Hadoop 生态、湖仓一体；

1. MPP 并行数仓（传统数仓） 代表：Greenplum、南大通用 GBase、GaussDB (DWS) 适用：TB‑小规模 PB，以结构化离线数仓为主；ODS‑DWD‑DWS 分层；很多研究所、制造业项目采用 MPP。 特点：SQL 友好，运维简单；超大规模下扩容成本高。
2. Hadoop 生态存储 HDFS 分布式文件系统 + Hive 数仓；适合 PB 级海量离线数据；运维复杂，需要专职大数据团队。
3. 湖仓一体 Lakehouse（现代主流） 底层对象存储做数据湖；上层提供数仓分析能力；支持结构化、半结构化、非结构化； 代表组件：Iceberg、Hudi、Paimon；查询引擎 StarRocks、Doris、Trino (Presto)稀土掘金。 适用：同时要处理业务库 + 文档 + 试验文件，兼顾离线 + 实时。

选型要点： 中小规模，无专职大数据团队：优先 MPP； PB 级、大量非结构化数据、实时需求：湖仓一体。

4. 计算引擎层

定义：执行 ETL/ELT 加工任务，完成清洗、转换、聚合计算；分为离线批处理、实时流处理、交互式查询引擎。

1. 离线批处理（T+1 数仓加工）

• Spark：内存计算，复杂 ETL 加工；
• Hive：基于 MR 大规模离线 SQL。

2. 实时流处理（秒级）

• Apache Flink：工业主流，支持 CDC、实时数仓、Exactly‑Once 一致性；用于实时同步、实时大屏。

3. 交互式 OLAP 查询引擎（BI、即席查询） StarRocks、Doris、ClickHouse；面向报表、BI 做高性能查询。
4. 任务调度器（必不可少）定义：调度 ETL 任务，管理任务依赖、定时执行、失败重试告警。 开源：Apache DolphinScheduler、Airflow；商业中台自带内置调度模块。

架构模式补充

• Lambda 架构：离线批处理层 + 实时速度层；两套计算逻辑，兼顾准确与实时；维护成本高。
• Kappa 架构：全部走流计算，依靠消息队列重播；逻辑统一，对消息队列存储能力要求高。