【GaussDB迁移攻略】DRS支持CDC，解决大规模数据迁移挑战（上）

1 背景介绍

 

随着国内各大行业数字化转型的加速，客户的数据同步需求越来越复杂。特别是当需要将一个源数据库的数据同时迁移到不同的目标库场景时，华为云通常会创建一个或多个DRS（Data Replication Service）任务来进行数据同步。

但是，随着源库数据量的增大，DRS任务数量也越来越多，会造成源库性能下降，甚至影响源库正常业务。

为了解决这一问题，华为云采用了DRS支持CDC（Change Data Capture，变更数据捕获）的数据迁移方案。本文将详细介绍其实现原理、实现方式及使用方法。

 

2 CDC的实现原理

CDC的核心思想是监测并捕获数据库的变动（包括插入、更新和删除操作），并将这些变更按发生的顺序完整记录下来，以供其他服务进行订阅及消费。

CDC主流的实现机制有2种：基于查询和基于日志。

• 第一种，基于查询

实现方式：通过SQL语句查询数据库中的变更记录。

优点：实现简单。通过简单SQL命令，即可完成数据查询，无需额外适配。

缺点：

1）高延迟，依赖查询效率。

2）影响源库性能。

• 第二种，基于日志

实现方式：通过解析日志，获取数据库的变动记录。

优点：

1）低时延。数据变化快速记录到日志中，解析识别速度快。

2）高保真。日志中包含完整的DDL和DML变更，可以精确捕捉源库的各种变动。

3）不会增加源库压力。

缺点：灵活性有限。各个引擎的日志机制不同，需要深入了解后适配开发。

 

更多详情请参考GaussDB 文档中心：https://doc.hcs.huawei.com/db/zh-cn/gaussdbqlh/24.1.30/productdesc/qlh_03_0001.html