将GaussDB分布式版同步到Kafka（下）

1. 图6 目标库信息
   
   表10 目标库信息

   参数	描述
   IP地址或域名	目标数据库的IP地址或域名，格式为IP地址/域名:端口。其中目标数据库服务端口，可输入范围为1~65535间的整数。 该输入框最多支持填写10组目标数据库的IP地址或者域名信息，多个值需要使用英文逗号隔开。例如：192.168.0.1:8080,192.168.0.2:8080。
   连接方式	支持四种认证方式的选择，PLAINTEXT、SSL、SASL_PLAINTEXT和SASL_SSL，详细说明可参考Kafka认证方式。

    

2. 在“设置同步”页面，选择同步策略、数据格式和同步对象，单击“下一步”。

    

   图7 设置同步
   

    

   表11 同步对象

   参数	描述
   DML同步	选择需要同步的DML操作，默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句，可能会导致数据不一致，因此存在数据冲突或任务失败的风险。
   指定源库复制槽名称	可选择是否指定源库复制槽，打开后需手动输入复制槽的名称（只能包含小写字母、数字、下划线，长度63，且不能以数字开头）。
   同步Topic策略	同步Topic策略，可选择集中投递到一个Topic或者按照格式自动生成Topic名字。
   Topic	选择目标端需要同步到的Topic，同步Topic策略选择集中投递到一个Topic时可见。
   Topic名字格式	同步Topic策略选择自动生成Topic名字时可见。 由于Kafka的机制限制，Topic名字只能包含ASCII字符、"."、"_"及"-"，若超过该范围会导致创建Topic失败，任务异常。 若Topic名字格式中包含数据库对象名，请确保对象名的字符在Kafka topic命名机制内。
   Partition个数	同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的分区个数。每个topic都可以创建多个partition，越多的partition可以提供更高的吞吐量，越多的partition会消耗更多的资源，建议根据broker节点的实际情况来设置partition的数量。
   副本个数	同步Topic策略选择自动生成Topic名字时可见。 用来设置topic的副本数。每个topic可以有多个副本，副本位于集群中不同的broker上，副本的数量不能超过broker的数量，否则创建topic时会失败。
   同步到kafka partition策略	同步到kafka partition策略。 按库名.schema.表名的hash值投递到不同Partition：适用于单表的查询场景，表内保序，表与表之间不保序，可以提高单表读写性能，推荐使用此选项。 按主键的hash值投递到不同Partition：适用于一个表一个Topic的场景，避免该表都写到同一个分区，消费者可以并行从各分区获取数据。 对于无主键表，如果选择“按主键的hash值投递都不同的partition”策略时，同步任务则会使用默认“按库名.schema.表名的hash值投递到不同的partition”的策略进行同步。 按库名.schema的hash值投递到不同Partition：适用于一个database一个topic的场景，避免多个schema下的数据写到一个分区，消费者可以并行从各分区获取数据。 全部投递到Partition 0：适用于有事务要求的场景，事务保序，可以保证完全按照事务顺序消费，写入性能比较差，如果没有强事务要求，不推荐使用此选项。 选择“按非主键列的hash值投递到不同Partition”策略时： 如果是选择Partition投递列的值为空，则会自动填充"empty value"默认值进行投递； 如果没有选择Partition投递列，则会按照主键值的hash值进行投递，无主键表会按照表名的hash值投递。
   投送到kafka的数据格式	选择投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 JSON：为Json消息格式，方便解释格式，但需要占用更多的空间。 详细格式可参考Kafka消息格式。
   同步对象	左侧框是源数据库对象，右侧框是已经选择的对象，同步对象支持表级同步、schema级同步和库级同步，您可以根据业务场景选择对应的数据进行同步。 选择对象支持对象名映射。 选择导入对象文件，支持表名映射和Topic映射。具体步骤和说明可参考5.7.5.2-导入同步对象  说明： 选择对象的时候支持对展开的库进行搜索，以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化的情况，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。 当对象名称包含空格时，名称前后的空格不显示，中间如有多个空格只显示一个空格。 选择的同步对象名称中不能包含空格。

    

3. 在“数据加工”页面，选择需要加工的数据，进行列加工。

    

   • 如果不需要数据加工，单击“下一步”。
   • 如果需要进行列加工，参考数据加工中的说明，设置相关规则。

    

4. 在“预检查”页面，进行同步任务预校验，校验是否可进行实时同步。

    

   • 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行任务预校验。

     预检查不通过项处理建议请参见《数据复制服务用户指南》中的“预检查不通过项修复方法”。

   • 预检查完成后，且所有检查项结果均通过时，单击“下一步”。
     图8 预检查
     
     说明：

     所有检查项结果均通过时，若存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。

    

5. 在“任务确认”页面，设置同步任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间，并确认同步任务信息无误后，勾选协议，单击“启动任务”，提交同步任务。

    

   图9 任务启动设置
   

    

   表12 任务启动设置

   参数	描述
   启动时间	同步任务的启动时间可以根据业务需求，设置为“立即启动”或“稍后启动”。  说明： 预计同步任务启动后，会对源数据库和目标数据库的性能产生影响，建议选择业务低峰期，合理设置同步任务的启动时间。
   任务异常通知设置	该项为可选参数，开启之后，选择对应的SMN主题。当同步任务状态、时延指标或数据异常时，系统将发送通知。
   SMN主题	“任务异常通知设置”项开启后可见，需提前在SMN上申请主题并添加订阅。 SMN主题申请和订阅可参考《消息通知服务用户指南》。
   时延阈值	在增量同步阶段，源数据库和目标数据库之间的同步有时会存在一个时间差，称为时延，单位为秒。 时延阈值设置是指时延超过一定的值后（时延阈值范围为0到3600s），DRS可以发送告警通知。告警通知将在时延稳定超过设定的阈值6min后发送，避免出现由于时延波动反复发送告警通知的情况。  说明： 当时延阈值设置为0时，不会发送通知给收件人。 首次进入增量同步阶段，会有较多数据等待同步，存在较大的时延，属于正常情况，不在此功能的监控范围之内。 设置时延阈值之前，需要设置任务异常通知。
   数据异常通知	该项为可选参数，开启之后，当同步任务数据异常时，系统将发送通知。
   任务异常自动结束时间（天）	设置任务异常自动结束天数，输入值必须在14到100之间，默认值14。  说明： 仅按需计费任务支持设置任务异常自动结束时间，包年/包月任务不支持。 异常状态下的任务仍然会计费，而长时间异常的任务无法续传和恢复。设置任务异常自动结束天数后，异常且超时的任务将会自动结束，以免产生不必要的费用。

    

6. 同步任务提交后，您可在“实时同步管理”页面，查看并管理自己的任务。

    

• 您可查看任务提交后的状态，状态请参见任务状态说明。
• 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。
• 对于未启动、状态为配置中的任务，DRS默认保留3天，超过3天DRS会自动删除后台资源，当前任务状态不变。当用户再次配置时，DRS会重新申请资源，此时DRS任务IP会发生改变。
• 对于公网网络类型的任务，由于DRS需要在任务结束后删除后台资源，所以该任务绑定的弹性公网IP需要等待一段时间，才能恢复为解绑状态。

更多详情请参考GaussDB 文档中心：https://doc.hcs.huawei.com/db/zh-cn/gaussdbqlh/24.1.30/productdesc/qlh_03_0001.html