無名

大猫咪与小狮子

导航

分布式存储系统需要解决的问题

  1. 数据集群的两种架构
    数据集中集群 (多主从)
    数据分散集群

  2. 数据同步
    主节点环形空间 + 从节点position 去判断是该增量还是全量。

  3. 同步方式
    以数据快照的方式同步 -- 通常是全量
    以命令的方式(执行语句的方式同步) -- 增量

  4. 数据快照生成过程中的写入问题
    以mvcc方式,可重复读的方式实现
    读时复制技术copy-on-write

  5. 主节点故障恢复
    投票选举,选举参考因素: 从节点断开时间,配置的优先级,数据同步的offset(offset越大,数据与master越接近)

  6. 集群监控,
    通常由所有的master节点互相通信完成,如果只有一个master,则需要单独的哨兵集群完成

  7. 数据切分(一致性hash, hash环)
    通过数据的插槽切分, 或许手动写数据分片逻辑

  8. 集群伸缩
    扩容: 分配插槽,同步数据
    缩容: 将插槽分配给其它节点,同步数据

posted on 2023-10-15 21:56  xiezhengcai  阅读(6)  评论(0编辑  收藏  举报