GBASE技术分享:如何用GVR可视化工具实现GBase数据库的双活集群容灾(上)

GBase 8a是国内少数具备两地三中心容灾能力的分析型MPP数据库,通过其配备的RsyncTool同步工具可实现同城或异地集群间准实时数据同步,并已在诸多大型银行、保险等金融机构部署实施。本文旨在介绍基于可视化集群双活同步工具GVR(GBase Visual RsyncTool)的GBase 8a集群双活容灾方案,包括GVR双活容灾方案概要、资源需求等。

01 方案说明

GBASE南大通用在RsyncTool同步工具基础上推出GVR(GBase Visual RsyncTool)同步工具增强版本,实现工具配置管理、同步任务编排、同步任务监控等功能界面化操作,集群间数据同步和容灾功能的可管理、可维护和易用性大为增强,同时在增量同步性能优化和同步过程中表锁粒度降低上进行了进一步优化,一方面通过并行对比主备集群间元数据信息,将未发生数据变化的表排除在同步任务外提升同步性能,同时降低了同步过程中正在进行数据同步表主集群上的锁表粒度,从表同步过程中只读优化为元数据快照保存阶段只读,数据同步阶段支持DML操作,从而大幅降低了同步过程对业务影响。

02 双活同步方案概要介绍

GBase 8a集群双活容灾方案基于可视化数据同步工具GVR(GBase Visual RsyncTool)实现,GVR支持部署在同城或异地的两套集群间进行表粒度的增量数据同步,形成2套独立集群的数据互备双活容灾。
​​
双活容灾方案推荐使用一套集群作为主集群提供数据写入入口(同时可承载查询任务),另一套集群只读,作为备集群。

正常状态下主集群承担业务写入任务,并通过调起同步工具以表为粒度将主集群中表内的增量数据同步至备集群,主备集群均可对外提供查询。

当主集群整体故障情况下,可将业务切换至备集群,由备集群承担业务写入任务,在主集群故障恢复后通过调起同步工具以表为粒度将主备切换后发生的业务增量数据反向同步给主集群并追平数据,数据追平后业务可选择切换回主集群或主备倒换后由原备集群承担主集群业务,主集群降级为备集群。

03 资源需求

3.1 双活容灾方案主备集群规模需求

1)主备集群间逻辑架构相同:

双活方案要求主备集群的主分片数相同,如主集群10个gnode计算节点(多实例时为gnode实例数)每个gnode节点1个主分片,则主分片数为10;灾备集群要求主分片数与主集群相同也为10个。

为保证备份集群在发生主备切换后可以提供同等的计算性能,建议备份集群采用与主集群相同规模的节点数、相同配置的服务器进行搭建。

2)主备集群间数据分布规则相同:

双活方案要求主备集群间数据hash分布规则相同,即集群中的gbase.nodedatamap系统表内的hash分桶规则主备集群一致。

3.2 双活容灾方案主备集群规模需求

1)节点间网络联通性需求:

双活同步方案涉及三个组件,主集群、备集群、GVR同步工具,三个组件间的网络要求打通,即主备集群所有节点服务器(管理节点gcluster、计算节点gnode)以及部署GVR同步工具的服务器间的网络需要互通。

集群支持两平面网络部署,集群组网使用一个网络平面即私网网络,集群的对外服务使用另外一个网络平面即业务网络。对于异地双活集群,可以打通主备集群间业务网络而不连通主备集群内部私网,GVR同步工具支持IP Mapping实现基于业务网络的数据同步。

对于网络端口方面,需要开通主备集群各节点服务器之间以及两个集群与GVR同步工具之间的数据库服务访问端口(默认为5258、5050)、数据同步服务端口(默认为5288)。

2)节点间带宽需求:

集群双活同步采用节点对节点(分片对分片)的数据同步方式,即数据同步实现主集群上表的n1分片与备集群上表的n1分片的数据一致性。

同步过程中采用主备集群对应节点间并行同步的方式,支持多个表并行同步,需要根据灾备的RTO要求以及数据增量大小评估主备集群间网络带宽需求。即满足 主备集群各节点间的整体带宽>每日变化增量数据量大小/同步窗口时间。

3.3 双活容灾方案GVR同步工具部署资源需求

GVR工具建议独立部署,配备1台服务器,用于同步工具的部署,同步日志信息、同步配置数据的存储,服务器配置不低于8core+32G+1TB。

posted @ 2025-04-24 15:20  GBASE南大通用  阅读(13)  评论(0)    收藏  举报