【技术术语】CDC（Change Data Capture）

CDC（Change Data Capture） 是一种数据集成技术，用于捕获和跟踪数据库中的数据变更（如插入、更新、删除），并将这些变更实时或近实时地同步到其他系统。

---

1. CDC 的核心概念

• 目标：监测源数据库的变更，并将变更数据传递到目标系统（如数据仓库、缓存、消息队列等）。
• 典型应用场景：
  • 数据仓库ETL（增量更新）
  • 微服务数据同步
  • 实时分析（如金融交易、用户行为追踪）
  • 数据库迁移与灾备

---

2. CDC 的实现方式

(1) 基于日志的 CDC（最常用）

• 原理：读取数据库的事务日志（如MySQL的binlog、Oracle的Redo Log、PostgreSQL的WAL）。
• 优点：
  • 低影响：不直接查询表，减少源库压力。
  • 高精度：捕获所有变更，包括已提交的事务。
• 工具举例：
  • Debezium（开源，支持Kafka）
  • AWS DMS（Database Migration Service）
  • Canal（阿里开源，用于MySQL binlog解析）

(2) 基于触发器的 CDC

• 原理：在源表上创建触发器（INSERT/UPDATE/DELETE），将变更写入影子表。
• 优点：兼容性广（几乎所有数据库都支持触发器）。
• 缺点：
  • 性能开销大（每个事务都需额外触发操作）。
  • 无法捕获历史数据（仅对新变更生效）。

(3) 基于查询的 CDC（轮询）

• 原理：定期扫描表的last_modified字段或版本号，检测变更。
• 优点：简单易实现。
• 缺点：
  • 高延迟（依赖轮询间隔）。
  • 可能遗漏高频变更。

---

3. CDC 技术选型对比

方法	实时性	性能影响	适用场景	代表工具
基于日志	⭐⭐⭐⭐	⭐⭐	高实时性要求（金融、监控）	Debezium, Canal
基于触发器	⭐⭐	⭐⭐⭐⭐	传统数据库，无日志权限时	自定义触发器
基于查询	⭐	⭐⭐	低频变更，简单ETL任务	Sqoop, 自定义脚本

---

4. 典型应用案例

(1) 实时数据仓库（Real-time DWH）

• 传统ETL（T+1延迟） → CDC + 流处理（如Kafka+Flink） 实现分钟级延迟。

(2) 微服务数据同步

• 服务A的数据库变更 → 通过CDC发送事件 → 服务B消费并更新自身数据。

(3) 数据库迁移与灾备

• 主库数据变更 → CDC捕获并同步到备库，保证数据一致性。

---

5. 常见挑战与解决方案

挑战	解决方案
大数据量导致延迟	增加并行处理（如Kafka分区）
Schema变更兼容性	使用Avro/Protobuf等Schema Registry
断点续传	记录消费位点（如Kafka Offset）

---

总结

CDC 是现代化数据架构的核心技术，适用于实时数据同步、分析、迁移等场景。

• 推荐工具：Debezium（开源）、AWS DMS（云服务）、Canal（MySQL优化）。
• 关键考量：实时性要求、数据库类型、运维成本。

如果需要具体数据库（如MySQL/Oracle）的CDC配置示例，可以进一步探讨！