随笔分类 -  存储

存储相关，以分布式存储为主
Linux 存储系统概览
摘要：Linux 存储栈概述 可以把Linux 存储子系统看成两个部分： 站在用户角度提供读写接口，数据以流的形式表现； 中间是文件系统 站在存储设备角度提供读写接口，数据以块的形式表现。 从系统调用接口开始（包含），以下都是内核空间，以上都是用户空间。 1）VFS VFS 在具体文件系统之上建立一个抽 阅读全文
posted @ 2021-03-07 17:21 TuringM 阅读(1164) 评论(0) 推荐(0)
Ceph 存储空间使用率统计数据解读
摘要：Luminous Ceph 的存储空间使用统计 Luminous 时每个pool 的USED 是用户数据大小（未经过压缩前的，per-pool 的RAW USED也是未经压缩的考虑了副本数的数据大小），而GLOBAL 的RAW USED 是实际分配的硬盘空间大小（压缩后的）。 Sage: "The 阅读全文
posted @ 2020-10-29 20:44 TuringM 阅读(4644) 评论(0) 推荐(0)
Ceph OSDs 间的数据均衡
摘要：背景 Ceph 集群在运行一段时间后常会碰到OSD 数据不均衡的时候，有的OSD 使用率超过的80%，有的甚至不足60%。一般有两种方法去均衡各个OSDs 间的数据 OSD Reweight 其实就是给各个OSDs 设置均衡权重（区别OSD weight 是根据容量设置的固定权重） 调整数据量超过阀 阅读全文
posted @ 2020-10-29 19:20 TuringM 阅读(5424) 评论(0) 推荐(0)
CephFS && RBD 挂载使用说明
摘要：CephFS 挂载使用说明 1. 内核挂载 1.1 简介 CephFS 内核模块（kernel driver）是Linux 内核的一部分，内核挂载CephFS 可以获得原生的内核性能。 1.2 内核模块的支持情况 特性 kernel 版本 说明 Inline data 3.19+ Quota 4.1 阅读全文
posted @ 2020-09-29 14:56 TuringM 阅读(2729) 评论(0) 推荐(0)
Ceph集群性能优化介绍
摘要：1.集群硬件配置 典型硬件资源配置建议： 组件 CPU 内存 网络 存储空间 Monitor 1vCore 2GB 1x 1GbE+ NICs 单个Mon 10GB+ OSD 1vCore BlueStore后端，单个OSD 至少3 GB。裸容量每增加1 TB，则内存相应增加1 GB 1x 1GbE 阅读全文
posted @ 2020-06-11 21:52 TuringM 阅读(5228) 评论(0) 推荐(0)
Ceph集群网络切换
摘要：背景：需要对已部署好的Ceph集群切换网络，包含公共网络和集群网络 1 关闭所有mon节点的mon服务并修改服务器IP systemctl stop ceph-mon@storage01.service sed -i "s/172.18.0.81/172.18.0.131/g" /etc/sysco 阅读全文
posted @ 2020-02-28 16:36 TuringM 阅读(1565) 评论(0) 推荐(0)
Ceph 之RGW Cache
摘要：目录OverviewRGW Cache 执行路径RGW Cache 组织架构缓存管理CachingProviderCacheManager缓存获取缓存添加缓存移除LRU 更新缓存一致性Chained cacheRGW Cache 优化方向References Overview 缓存是为达到系统快速响 阅读全文
posted @ 2020-01-31 16:55 TuringM 阅读(2761) 评论(0) 推荐(0)
Ceph 之RGW Pub-Sub Module
摘要：Overview Pub-Sub module 顾名思义是一个发布订阅相关的模块。Pub-Sub module 为对象存储的变更事件提供一种发布-订阅机制。而发布-订阅架构本身应用非常广泛，如公有云Google Cloud，AWS 的PubSub 服务，Redis 的发布订阅机制等等，发布订阅架构提 阅读全文
posted @ 2019-12-31 18:51 TuringM 阅读(1825) 评论(0) 推荐(0)
Ceph 之RGW Data Layout
摘要：Overview RGW 中三个基本概念：user， bucket， object。通过分析RGW data layout，可以清楚对象存储的三个基本概念是怎样在RGW 中实现的。 RGW 中数据分三种类型： data: 每个RGW object 会保存在一个或多个Rados object(s) m 阅读全文
posted @ 2019-11-21 21:31 TuringM 阅读(4964) 评论(0) 推荐(0)
Ceph 之 Background on http frontends
摘要：Background on http frontends -civetweb frontend --thread per connection, requires a lot of threads qos or priority queuing would block frontend thread 阅读全文
posted @ 2019-08-30 19:31 TuringM 阅读(836) 评论(0) 推荐(0)
Ceph 之Multisite 下的bucket reshard
摘要：一、背景和问题 默认情况下只有当单个bucket承载的object数量过多，导致omap过大会导致性能问题。在L 版之前需要线下reshard，从L 版开始支持线上自动reshard，默认rgw dynamic resharding 是开启的。但是在开启了Multisite的情况下，一旦对bucke 阅读全文
posted @ 2019-08-28 16:04 TuringM 阅读(2199) 评论(0) 推荐(0)
Ceph之PG数调整
摘要：1. PG介绍 PG, Placement Groups。CRUSH先将数据分解成一组对象，然后根据对象名称、复制级别和系统中的PG数等信息执行散列操作，再将结果生成PG ID。可以将PG看做一个逻辑容器，这个容器包含多个对象，同时这个逻辑对象映射之多个OSD上。 如果没有PG，在成千上万个OSD上 阅读全文
posted @ 2018-11-22 19:59 TuringM 阅读(9724) 评论(0) 推荐(0)
Ceph之对象存储网关RADOS Gateway(RGW)
摘要：一、Ceph整体架构及RGW在Ceph中的位置 1.Ceph的整体架构 Ceph是一个统一的、分布式的的存储系统，具有优秀的性能、可靠性和可扩展性。Ceph支持对象存储（RADOSGW）、块存储（RBD）和文件存储（CephFS）。一个Ceph存储集群至少包含一个Ceph monitor、Ceph 阅读全文
posted @ 2018-08-08 20:36 TuringM 阅读(14533) 评论(1) 推荐(0)