TDSQl

TDSQL

TDSQL(Tencent Distributed MySQL)是腾讯针对金融级 联机交易场景推出的高一致性,分布式数据库集群解决方案

核心特性

高一致性、高可用性、高性能

TDSQL核心架构:

实例:从业务视角看到的一个具有完整能力的数据库

分片(sharding):**是由数据库节点组(SET)和支撑系统组成一主多从数据库,也是水平拆分后承载数据的基本单元

节点(DataNode):承载分片的五里界店,一个SET通常包括一个主节点和多个从节点。

Proxy:账号鉴权、管理连接、SQL解析、分配路由的网关模块

调度集群、决策集群:作为几群的管理调度中心,主要保证数据库及诶单组、接入网关集群的正常运行;

ADS节点:扩展的计算节点,采用只读的方式与SET连接,以JDBC的方式获取数据,以spark作为基础

主备数据复制方式:

主要分为:异步复制、半同步复制、强同步复制

半同步复制的不足:超时后退化成异步,金融场景不合适;跨IDC的情况下性能不乐观

为了解决这个问题:

通过用户线程异步化,在等待返回应答时保存THD会话,让线程可以去处理别的连接,不会做无用的等待

高一致性容灾——如何保证没有脏数据

原则:

1.主机可读可写,备机只读,备机可以开放给业务查询使用

2.任何时刻同一个SET不能有两个主机

3.宁愿拒绝服务,不提供错误的服务,追求CAP中的C,必要的时候牺牲掉部分A

1. 主DB降级为备机

2. 参与选举的备机上报最新的binlog点

3. Scheduler收到binlog点之后,选择出binlog最大的节点

4. 重建主备关系

5. 修改路由

6. 请求发给新的主机

数据高可用性的保障机制(恢复):

注:为了保障数据高可用性,一般用三个副本

数据备份:

物理备份:

  1. 1. 利用xtrabackup备份物理文件。
    
    2. 每天凌晨或者指定时间点备份一次
    
    3. 压缩备份到HDFS。
    
    4. 可配置。
    

逻辑备份:

  1. 1. 利用mydumper备份工具
    
    2. 每天备份一次
    
    3. 压缩备份到HDFS
    
    4. 每个库、表结构、表数据独立备份,恢复时可以单独恢复
    

binlog备份

  1. 实时备份binlog到hdfs。Lz4压缩。
    

全面安全防护:

事前:IP白名单;SSL连接加密;SQL防火墙

事中:文件透明加密;网络隔离;运维安全保障

事后:数据库审计;操作日志审计;服务器审计

读写分离:

基于数据库账号的读写分离:

基于Hint和自动分析事物的读写分离:

分布式实践,扩展性、分布式事物

多源同步:

posted @ 2020-03-17 10:05  爱可耐  阅读(8270)  评论(0编辑  收藏  举报