随笔分类 -  分布式系统

分布式系统，去中心化系统
Ceph集群网络切换
摘要：背景：需要对已部署好的Ceph集群切换网络，包含公共网络和集群网络 1 关闭所有mon节点的mon服务并修改服务器IP systemctl stop ceph-mon@storage01.service sed -i "s/172.18.0.81/172.18.0.131/g" /etc/sysco 阅读全文
posted @ 2020-02-28 16:36 TuringM 阅读(1550) 评论(0) 推荐(0)
Ceph 之RGW Cache
摘要：目录OverviewRGW Cache 执行路径RGW Cache 组织架构缓存管理CachingProviderCacheManager缓存获取缓存添加缓存移除LRU 更新缓存一致性Chained cacheRGW Cache 优化方向References Overview 缓存是为达到系统快速响 阅读全文
posted @ 2020-01-31 16:55 TuringM 阅读(2657) 评论(0) 推荐(0)
Ceph 之RGW Pub-Sub Module
摘要：Overview Pub-Sub module 顾名思义是一个发布订阅相关的模块。Pub-Sub module 为对象存储的变更事件提供一种发布-订阅机制。而发布-订阅架构本身应用非常广泛，如公有云Google Cloud，AWS 的PubSub 服务，Redis 的发布订阅机制等等，发布订阅架构提 阅读全文
posted @ 2019-12-31 18:51 TuringM 阅读(1764) 评论(0) 推荐(0)
Ceph 之RGW Data Layout
摘要：Overview RGW 中三个基本概念：user， bucket， object。通过分析RGW data layout，可以清楚对象存储的三个基本概念是怎样在RGW 中实现的。 RGW 中数据分三种类型： data: 每个RGW object 会保存在一个或多个Rados object(s) m 阅读全文
posted @ 2019-11-21 21:31 TuringM 阅读(4917) 评论(0) 推荐(0)
Ceph 之Multisite 下的bucket reshard
摘要：一、背景和问题 默认情况下只有当单个bucket承载的object数量过多，导致omap过大会导致性能问题。在L 版之前需要线下reshard，从L 版开始支持线上自动reshard，默认rgw dynamic resharding 是开启的。但是在开启了Multisite的情况下，一旦对bucke 阅读全文
posted @ 2019-08-28 16:04 TuringM 阅读(2180) 评论(0) 推荐(0)
Ceph之PG数调整
摘要：1. PG介绍 PG, Placement Groups。CRUSH先将数据分解成一组对象，然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作，再将结果生成PG ID。可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射之多个OSD上。 如果没有PG，在成千上万个OSD上 阅读全文
posted @ 2018-11-22 19:59 TuringM 阅读(9679) 评论(0) 推荐(0)
Ceph之对象存储网关RADOS Gateway(RGW)
摘要：一、Ceph整体架构及RGW在Ceph中的位置 1.Ceph的整体架构 Ceph是一个统一的、分布式的的存储系统，具有优秀的性能、可靠性和可扩展性。Ceph支持对象存储（RADOSGW）、块存储（RBD）和文件存储（CephFS）。一个Ceph存储集群至少包含一个Ceph monitor、Ceph 阅读全文
posted @ 2018-08-08 20:36 TuringM 阅读(14460) 评论(1) 推荐(0)
拜占庭将军问题（一）
摘要：一、什么是拜占庭将军问题 拜占庭将军问题（Byzantine Generals Problem，是由莱斯利·兰波特在其同名论文[1]中提出的分布式对等网络通信容错问题。在分布式计算中，不同的计算机通过通讯交换信息达成共识而按照同一套协作策略行动。但有时候，系统中的成员计算机可能出错而发送错误的信息， 阅读全文
posted @ 2018-07-02 00:02 TuringM 阅读(3119) 评论(0) 推荐(0)