ceph部署
ceph架构
一、存储类型
-
集中式存储
-
nas(网络附加存储)
-
san(存储区域网格)
-
das(直连附加存储)
-
-
集中式存储的优点：
-
管理简单，因为所有的数据都存储在一个节点上面
-
安全性高，集中式存储只有一个数据中心，因此更加容器实现安全控制
-
数据统一管理
-
分布式存储，信息被存储在多个独立且互不干扰的设备中，采用可扩展的存储架构
-
glusterfs
-
ceph
-
存储形式
-
块设备，一个硬盘
-
文件系统存储，格式化就相当于是装一个文件系统
-
对象存储：元数据+数据存储，有一个唯一的对象的id,访问形式是http
-
二、为什么用到ceph
- nfs
我们不妨这样设想一下，NFS如果节点挂掉了，那么我们把这个节点上的硬盘拔出来，换到其他节点上，在其他节点上起一个NFS，那么数据依旧是存在的，但是，如果坏的不是节点而是硬盘呢？可能你想到了给硬盘做RAID，好，保留这个问题，继续往后看。
- mooseFS
Moosefs就是一个分布式存储，他的技术架构就是提供一个Mater节点，来管理整个集群，client只需要通过挂载Master节点就可以往集群内存储文件
大家都知道，一个文件是由文件元数据以及文件数据组成的，文件元数据保存的就是一些简单的概要，比如这个文件多大，文件的拥有人，所属组以及访问权限这些东西，元数据一般都不大，所以会直接保存在Master节点上，而文件本身的数据则会保存在存储节点上，并且是有多副本机制的。完全不怕某个节点挂掉而导致数据丢失。
MooseFS瓶颈
虽然文件的元数据占用的空间并不大，但是在现在这个时代，也奈何不了他多啊，当元数据过多时，Master就成了Moosefs的瓶颈，因为所有的请求都是需要经过Master的，并且Moosefs(到写这篇文章的时间)是没办法做Master高可用的，想给他做高可用的方式就是2个Master，使用Keepalive提供一个VIP(虚拟IP)，访问这个VIP就可以访问到2个Master节点，但是，在同一时间内，只有一个Master在工作，所以瓶颈依旧存在
- glusterfs
看到了MooseFS的瓶颈之后，GlusterFS采取了去Master，即不需要Master节点，每个存储节点上都内嵌一个可以代替Master工作的组件，这样操作下来，所有的元数据并不是都放在同一个节点上，每个节点都只需要保存部分元数据，好像这个架构没什么问题了哈，但是我们回想一下MooseFS是如何使用的？是不是客户端挂载Master就可以使用集群了？但是现在没有Master了，或者说每个节点都是Master，那怎么办呢？
GlusterFS就要求使用GlusterFS的客户端安装一个软件，Gluster-client，并且给这个软件写一个配置文件，把所有的存储节点IP地址写进去，这样操作。但是如果后期节点需要更换，改动起来就比较麻烦。我们再来看看Ceph是怎么做的
ceph的组件
1、ceph组件详解
-
mon: 集群监视器(master,缺一不可)
-
osd: 集群存储节点(缺一不可)
-
mgr：集群管理器(缺一不可)
-
mds：文件元数据节点
-
rgw:对象存储网关
ceph支持的三种存储方式
1、块存储(RBD)
2、对象存储(RGW)
3、文件存储(cephFS)
ceph部署
-
安装p版本的ceph
-
部署的方式
-
Cephadm(官方推荐) 基于容器部署的
-
ceph-ansible
-
ceph-deploy(N版本之前使用)
-
DeepSea
-
手工部署(极其复杂，不推荐)
-
-
ceph不支持欧拉的，
-
三个节点
| 主机名 | ip | 系统 |
|---|---|---|
| ceph01 | 192.168.50.20 | 欧拉22.03 |
| ceph02 | 192.168.50.21 | 欧拉22.03 |
| ceph03 | 192.168.50.22 | 欧拉22.03 |
- cephadm 一个节点上面安装即可
1、基础操作
1、修改主机名
[root@localhost ~]# hostnamectl set-hostname ceph01
2、关闭防护墙和selinux
[root@ceph01 ~]# systemctl disable --now firewalld
[root@ceph01 ~]# setenforce 0
[root@ceph01 ~]# cat /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
3、配置hosts
[root@ceph01 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ceph01
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.50.20 ceph01
192.168.50.21 ceph02
192.168.50.22 ceph03
4、配置时间同步
[root@ceph01 ~]# yum install chrony -y
[root@ceph01 ~]# systemctl enable --now chronyd
2、安装cephadm
1、安装git
安装git是因为需要拉取cephadm，因为欧拉操作系统暂时用不了官方的cephadm，需要下载另一个版本
[root@ceph01 ~]# yum install git -y
[root@ceph01 ~]# git clone https://gitee.com/yftyxa/openeuler-cephadm.git
[root@ceph01 ~]# cd openeuler-cephadm/
[root@ceph01 openeuler-cephadm]# ls
cephadm
[root@ceph01 openeuler-cephadm]# mv cephadm /usr/sbin/
2、安装podman3.3
[root@ceph01 ~]# wget -O /etc/yum.repos.d/huawei.repo https://repo.huaweicloud.com/repository/conf/CentOS-8-reg.repo
# 一定要指定版本安装
[root@ceph01 ~]# yum install podman-3.3.1*
3、配置ceph源
- 不能使用红帽之前cephadm add-repo ，欧拉不支持
[root@ceph01 ~]# cephadm version
ceph version 16.2.13 (5378749ba6be3a0868b51803968ee9cde4833a3e) pacific (stable)
[root@ceph01 ~]# vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=https://mirrors.huaweicloud.com/ceph/rpm-pacific/el8/x86_64/
gpgcheck=0
enabled=1
4、将repo文件传到各个节点
[root@ceph01 ~]# scp /etc/yum.repos.d/ceph.repo ceph02:/etc/yum.repos.d/
Authorized users only. All activities may be monitored and reported.
ceph.repo 100% 107 209.4KB/s 00:00
[root@ceph01 ~]# scp /etc/yum.repos.d/ceph.repo ceph03:/etc/yum.repos.d/
Authorized users only. All activities may be monitored and reported.
ceph.repo 100% 107 203.1KB/s 00:00
3、安装ceph
[root@ceph01 ~]# cephadm bootstrap --mon-ip 192.168.50.20 --initial-dashboard-user admin --initial-dashboard-password 123 --dashboard-password-noupdate
-
--mon-ip 指定monitor 指定一个即可
-
--initial-dashboard-user admin 指定dashboard的用户名是admin,不指定也行
-
--initial-dashboard-password 123 指定dashboard的用户名是123
-
--dashboard-password-noupdate 第一次登录dashboard无需修改密码
# 执行完上面的命令后
Ceph Dashboard is now available at:
URL: https://localhost.localdomain:8443/ # 输入ip+端口可以访问dashboard
User: admin
Password: 123
Enabling client.admin keyring and conf on hosts with "admin" label
You can access the Ceph CLI with:
sudo /usr/sbin/cephadm shell --fsid dc6d1544-17ef-11ef-9393-000c297dea16 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
Please consider enabling telemetry to help improve Ceph:
ceph telemetry on
For more information see:
https://docs.ceph.com/docs/pacific/mgr/telemetry/
Bootstrap complete.
1、登录dashboard
2、安装ceph-commmon
# ceph.repo文件里面下载
[root@ceph01 ~]# yum install ceph-common --nobest
如果不加上nobest的话，他会报错，因为我们的版本是16.2.13，而仓库里的是common是16.2.15，不是最佳匹配
加上nobest的话他就不会报错了
# 查看集群状态
[root@ceph01 yum.repos.d]# ceph -s
cluster: # 集群信息
id: 055471d0-1f84-11f1-bcb5-000c29fecb8e # 集群唯一标识符
health: HEALTH_WARN # 警告的状态
OSD count 0 < osd_pool_default_size 3 # osd的数量小于默认的数量
services: # 服务状态
mon: 1 daemons, quorum ceph01 (age 15m) # 1个mon节点在运行
mgr: ceph01.adgyya(active, since 14m) # web界面
osd: 0 osds: 0 up, 0 in # osd 状态
data: # 数据状态
pools: 0 pools, 0 pgs # 存储池，归置组
objects: 0 objects, 0 B # 存储的对象为0个
usage: 0 B used, 0 B / 0 B avail # 使用的情况
pgs:
progress:
Updating grafana deployment (+1 -> 1) (0s)
[............................]
# 后面ceph集群安装之后，再次查看
1、集群的三种状态
1. health: HEALTH_OK 这个代表集群是OK的
2. health: HEALTH_WARN 这个代表的是有警告
3. health: HEALTH_ERR 这个代表集群出现错误，无法提供服务
2、services
mon: 1 daemons, quorum ceph01 (age 30m)
mgr: ceph01.luyssm(active, since 27m)
osd: 0 osds: 0 up, 0 in
3、健康的详细情况
[root@ceph01 ~]# ceph health detail
HEALTH_WARN OSD count 0 < osd_pool_default_size 3
[WRN] TOO_FEW_OSDS: OSD count 0 < osd_pool_default_size 3
4、添加节点
- 先查看节点信息
[root@ceph01 ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 8m ago 26m count:1
crash 1/1 8m ago 26m *
grafana ?:3000 0/1 - 26m count:1
mgr 1/2 8m ago 26m count:2
mon 1/5 8m ago 26m count:5
node-exporter ?:9100 1/1 8m ago 26m *
prometheus ?:9095 0/1 - 26m count:1
# 没有运行的，就是容器没有拉取下来，容器拉取下来后，就会自动的运行了，网络的问题，拉取很慢
# 可以问一下ai，需要拉取哪些镜像
[root@ceph01 containers]# ceph config get mgr mgr/cephadm/container_image_grafana
quay.io/ceph/ceph-grafana:8.3.5
# 没有启动的话，重新部署这个服务即可，然后reboot重启就能恢复了
# 主要就是镜像没有的问题
# 容器都在运行中
[root@ceph01 ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 2m ago 2h count:1
crash 1/1 2m ago 2h *
grafana ?:3000 1/1 2m ago 92m count:1
mgr 1/2 2m ago 2h count:2
mon 1/5 2m ago 2h count:5
node-exporter ?:9100 1/1 2m ago 2h *
prometheus ?:9095 1/1 2m ago 2h count:1
# 详解
[root@ceph01 ~]# ceph orch ps
NAME HOST PORTS STATUS REFRESHED AGE MEM USE MEM LIM VERSION IMAGE ID CONTAINER ID
alertmanager.ceph01 ceph01 *:9093,9094 running (3m) 2m ago 2h 41.9M - 0.23.0 ba2b418f427c b950d4cc2472
crash.ceph01 ceph01 running (3m) 2m ago 2h 21.2M - 16.2.13 e08a45948779 2304fe34dca0
grafana.ceph01 ceph01 *:3000 running (3m) 2m ago 92m 137M - 8.3.5 dad864ee21e9 aa27f1b9205e
mgr.ceph01.adgyya ceph01 *:9283 running (3m) 2m ago 2h 507M - 16.2.13 e08a45948779 3e85dcd5b0bd
mon.ceph01 ceph01 running (3m) 2m ago 2h 57.9M 2048M 16.2.13 e08a45948779 2e4b434598be
node-exporter.ceph01 ceph01 *:9100 running (3m) 2m ago 2h 26.1M - 1.3.1 1dbe0e931976 046e69510023
prometheus.ceph01 ceph01 *:9095 running (3m) 2m ago 101m 121M - 2.33.4 514e6a882f6e e6f36cc96424
1、开始添加节点
- 就是需要管理节点，建立免密，ceph的免密操作
ssh-copy-id -f -i ./ceph.pub root@ceph02
ssh-copy-id -f -i ./ceph.pub root@ceph03
2、被添加节点安装容器引擎
- 需要拉取镜像，启动容器，所以需要
# 安装podman3
[root@ceph02 ~]# yum install podman-3* -y
[root@ceph03 ~]# yum install podman-3* -y
3、添加节点
ceph orch host add ceph02 192.168.50.21
ceph orch host add ceph02 192.168.50.22
# 查看节点信息
[root@ceph01 ~]# ceph orch host ls
HOST ADDR LABELS STATUS
ceph01 192.168.50.20 _admin # 标签是_admin,集群会将ceph的集群文件放到该节点上
ceph02 192.168.50.21
ceph03 192.168.50.22
3 hosts in cluster
1、标签修改
# 将ceph03添加_admin标签
[root@ceph01 ceph]# ceph orch host label add ceph03 _admin
Added label _admin to host ceph03
[root@ceph01 ceph]# ceph orch host ls
HOST ADDR LABELS STATUS
ceph01 192.168.50.20 _admin
ceph02 192.168.50.21
ceph03 192.168.50.22 _admin
3 hosts in cluster
# 存放了配置文件这些
[root@ceph03 ~]# ls /etc/ceph/
ceph.client.admin.keyring ceph.conf
2、删除标签
[root@ceph01 ceph]# ceph orch host label rm ceph03 _admin
Removed label _admin from host ceph03
[root@ceph01 ceph]# ceph orch host ls
HOST ADDR LABELS STATUS
ceph01 192.168.50.20 _admin
ceph02 192.168.50.21
ceph03 192.168.50.22
3 hosts in cluster
4、关闭mon自动扩展
- mon默认是在5个节点上面运行的，我们只有三个节点
[root@ceph01 ceph]# ceph orch apply mon --unmanaged
Scheduled mon update...
[root@ceph01 ceph]# ceph orch apply mon 3
Scheduled mon update...
[root@ceph01 ceph]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 98s ago 3h count:1
crash 3/3 100s ago 3h *
grafana ?:3000 1/1 98s ago 2h count:1
mgr 2/2 99s ago 3h count:2
mon 3/3 100s ago 2s count:3
node-exporter ?:9100 3/3 100s ago 3h *
prometheus ?:9095 1/1 98s ago 3h count:1
5、将mon固定在某几个节点上面
如果有一个mon节点挂掉的话，添加了一个新的节点，ceph的集群的控制的话，会在新的节点上面启动一个mon，不想更换mon节点，可以打上标签，只在标签的节点上面运行
[root@ceph01 ceph]# ceph orch host label add ceph01 mon
Added label mon to host ceph01
[root@ceph01 ceph]# ceph orch host label add ceph02 mon
Added label mon to host ceph02
[root@ceph01 ceph]# ceph orch host label add ceph03 mon
Added label mon to host ceph03
[root@ceph01 ceph]# ceph orch apply mon label:mon
Scheduled mon update...
[root@ceph01 ceph]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 4m ago 3h count:1
crash 3/3 4m ago 3h *
grafana ?:3000 1/1 4m ago 2h count:1
mgr 2/2 4m ago 3h count:2
mon 3/3 4m ago 4s label:mon # 这样的话，mon就只在这个标签的节点上面运行了
node-exporter ?:9100 3/3 4m ago 3h *
prometheus ?:9095 1/1 4m ago 3h count:1
5、添加OSD
-
需要每个节点添加三个硬盘10G，重启添加硬盘
-
在以前的N版本之前的话，osd是允许一个目录
-
现在的话，必须是一个磁盘对应一个OSD
# 查看osd可用的
ceph orch device ls
# 输出信息应该有9个osd
# 如果缺少的话，刷新一下即可
ceph orch device ls ceph01 --refresh
- 添加ceph的osd
# 手动添加
ceph orch daemon add osd ceph01:/dev/sdb
ceph orch daemon add osd ceph01:/dev/sdc
ceph orch daemon add osd ceph01:/dev/sdd
# 将所有可用磁盘，自动的添加为osd(生产环境中不推荐使用)
ceph orch apply osd --all-available-devices
# 添加为osd后，会自动生成一个lvm
[root@ceph01 ~]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
osd-block-33057542-2e98-4dd5-9032-20631c3a2f43 ceph-61937482-4c3c-4885-ade9-ed0dae77cae9 -wi-ao---- <10.00g
osd-block-45da9575-3e40-4f94-9688-df036e5bb531 ceph-97f31203-a804-46e9-9822-f998ad8f635c -wi-ao---- <10.00g
osd-block-163d0171-ba8f-4d9f-9132-3175bc0d8411 ceph-ae7220be-338e-4170-a4ee-e23d9ffa65b7 -wi-ao---- <10.00g
root openeuler_template -wi-ao---- 49.41g
# 每一个osd都是一个进程
[root@ceph01 ~]# podman ps -a| grep osd
aeb88f6e3622 swr.cn-east-3.myhuaweicloud.com/hcie_openeuler/ceph@sha256:cb51f1ed84198177a48ff2c370008462eb3cb537c9a0e66acbda1724b6f4c14d -n osd.0 -f --set... 19 minutes ago Up 19 minutes ago ceph-055471d0-1f84-11f1-bcb5-000c29fecb8e-osd-0
93b6f98b99aa swr.cn-east-3.myhuaweicloud.com/hcie_openeuler/ceph@sha256:cb51f1ed84198177a48ff2c370008462eb3cb537c9a0e66acbda1724b6f4c14d -n osd.1 -f --set... 18 minutes ago Up 18 minutes ago ceph-055471d0-1f84-11f1-bcb5-000c29fecb8e-osd-1
8ef1647d3d26 swr.cn-east-3.myhuaweicloud.com/hcie_openeuler/ceph@sha256:cb51f1ed84198177a48ff2c370008462eb3cb537c9a0e66acbda1724b6f4c14d -n osd.2 -f --set... 18 minutes ago Up 18 minutes ago ceph-055471d0-1f84-11f1-bcb5-000c29fecb8e-osd-2
- 添加完成之后查看集群信息
[root@ceph01 ~]# ceph -s
cluster:
id: 055471d0-1f84-11f1-bcb5-000c29fecb8e
health: HEALTH_OK # 状态为ok了
services:
mon: 3 daemons, quorum ceph01,ceph02,ceph03 (age 24m) # 3个mon节点运行中(至少是奇数个)
mgr: ceph01.adgyya(active, since 24m), standbys: ceph02.ozztnq # web界面2个在运行，ceph01是主节点，ceph02是备用节点
osd: 9 osds: 9 up (since 13m), 9 in (since 13m) # 9个osd,都是运行的状态
data:
pools: 1 pools, 1 pgs # 一个存储池，一个pg组
objects: 0 objects, 0 B # 存储的对象为0个
usage: 54 MiB used, 90 GiB / 90 GiB avail # 总共90G的大小
pgs: 1 active+clean
1、ceph df(查看集群存储空间使用情况)
[root@ceph01 ~]# ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 90 GiB 90 GiB 54 MiB 54 MiB 0.06
TOTAL 90 GiB 90 GiB 54 MiB 54 MiB 0.06
--- POOLS --- # 默认的存储池
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
device_health_metrics 1 1 0 B 0 0 B 0 28 GiB
# ceph集群是一个三副本，所有90G的大小，实际可用为30G
2、ceph osd df(查看每个osd详细使用情况)
# 查看每个osd的信息
[root@ceph01 ~]# ceph osd df
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
0 hdd 0.00980 1.00000 10 GiB 6.2 MiB 628 KiB 0 B 5.6 MiB 10 GiB 0.06 1.02 0 up
1 hdd 0.00980 1.00000 10 GiB 6.2 MiB 628 KiB 0 B 5.6 MiB 10 GiB 0.06 1.02 0 up
2 hdd 0.00980 1.00000 10 GiB 6.1 MiB 628 KiB 0 B 5.5 MiB 10 GiB 0.06 1.01 1 up
3 hdd 0.00980 1.00000 10 GiB 6.1 MiB 624 KiB 0 B 5.4 MiB 10 GiB 0.06 1.00 1 up
4 hdd 0.00980 1.00000 10 GiB 6.0 MiB 628 KiB 0 B 5.4 MiB 10 GiB 0.06 0.99 0 up
5 hdd 0.00980 1.00000 10 GiB 6.0 MiB 628 KiB 0 B 5.4 MiB 10 GiB 0.06 0.99 0 up
6 hdd 0.00980 1.00000 10 GiB 6.0 MiB 628 KiB 0 B 5.4 MiB 10 GiB 0.06 0.99 0 up
7 hdd 0.00980 1.00000 10 GiB 5.9 MiB 628 KiB 0 B 5.3 MiB 10 GiB 0.06 0.98 1 up
8 hdd 0.00980 1.00000 10 GiB 5.9 MiB 628 KiB 0 B 5.2 MiB 10 GiB 0.06 0.97 0 up
TOTAL 90 GiB 54 MiB 5.5 MiB 0 B 49 MiB 90 GiB 0.06
MIN/MAX VAR: 0.97/1.02 STDDEV: 0
3、ceph osd tree(查看osd层级结构)
[root@ceph01 ~]# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.08817 root default
-3 0.02939 host ceph01
0 hdd 0.00980 osd.0 up 1.00000 1.00000
1 hdd 0.00980 osd.1 up 1.00000 1.00000
2 hdd 0.00980 osd.2 up 1.00000 1.00000
-5 0.02939 host ceph02
3 hdd 0.00980 osd.3 up 1.00000 1.00000
4 hdd 0.00980 osd.4 up 1.00000 1.00000
5 hdd 0.00980 osd.5 up 1.00000 1.00000
-7 0.02939 host ceph03
6 hdd 0.00980 osd.6 up 1.00000 1.00000
7 hdd 0.00980 osd.7 up 1.00000 1.00000
8 hdd 0.00980 osd.8 up 1.00000 1.00000
ceph移除节点
ceph命令输出详解
1、ceph orch ls
# 服务列表详解
[root@ceph01 ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 3m ago 18h count:1
crash 3/3 5m ago 18h *
grafana ?:3000 1/1 3m ago 18h count:1
mgr 2/2 3m ago 18h count:2
mon 3/3 5m ago 15h label:mon
node-exporter ?:9100 3/3 5m ago 18h *
osd 6 5m ago - <unmanaged>
osd.all-available-devices 3 77s ago 33m *
prometheus ?:9095 1/1 3m ago 18h count:1
-
核心ceph服务
-
mon：3个监视器全部运行，使用标签 label:mon 部署
-
mgr：2个管理器全部运行（1主1备），指定数量 count:2
-
osd：注意这里有两个OSD服务：
-
一个是 osd（显示6/9，未管理）
-
一个是 osd.all-available-devices（显示3/3）
-
-
-
监控个告警服务
-
alertmanager：处理告警（端口9093,9094）
-
grafana：可视化面板（端口3000）
-
prometheus：指标收集（端口9095）
-
node-exporter：节点指标收集（端口9100），在所有节点运行
-
-
其他服务
- crash：收集和存储崩溃报告，在所有节点运行
2、ceph orch ps
- ceph集群中，每一个服务对应一个容器，对应一个单独的进程
[root@ceph01 ~]# ceph orch ps
NAME HOST PORTS STATUS REFRESHED AGE MEM
alertmanager.ceph01 ceph01 *:9093,9094 running (47m) 9m ago 18h 4
crash.ceph01 ceph01 running (47m) 9m ago 18h 1
crash.ceph02 ceph02 running (47m) 7m ago 16h 1
crash.ceph03 ceph03 running (47m) 43s ago 16h 2
grafana.ceph01 ceph01 *:3000 running (47m) 9m ago 18h
mgr.ceph01.adgyya ceph01 *:9283 running (47m) 9m ago 19h
mgr.ceph02.ozztnq ceph02 *:8443,9283 running (47m) 7m ago 16h
mon.ceph01 ceph01 running (47m) 9m ago 19h
mon.ceph02 ceph02 running (47m) 7m ago 16h
mon.ceph03 ceph03 running (47m) 43s ago 16h
node-exporter.ceph01 ceph01 *:9100 running (47m) 9m ago 18h 3
node-exporter.ceph02 ceph02 *:9100 running (47m) 7m ago 16h 3
node-exporter.ceph03 ceph03 *:9100 running (47m) 43s ago 16h 3
osd.0 ceph01 running (42m) 9m ago 42m 4
osd.1 ceph01 running (42m) 9m ago 42m 3
osd.2 ceph01 running (42m) 9m ago 42m 3
osd.3 ceph02 running (41m) 7m ago 41m 4
osd.4 ceph02 running (41m) 7m ago 41m 3
osd.5 ceph02 running (41m) 7m ago 41m 3
osd.6 ceph03 running (36m) 43s ago 36m 4
osd.7 ceph03 running (36m) 43s ago 36m 3
osd.8 ceph03 running (36m) 43s ago 36m 3
prometheus.ceph01 ceph01 *:9095 running (47m) 9m ago 18h
-
系统服务容器（每个节点都有）
-
crash：收集崩溃日志
-
node-exporter：收集主机指标
-
-
核心存储容器
-
mon：集群监视器（3个，形成quorum）
-
mgr：集群管理器（主备模式）
-
osd：数据存储（9个，分布在3个节点）
-
-
监控栈容器（主要在ceph01）
-
prometheus：指标存储
-
grafana：可视化面板
-
alertmanager：告警管理
-
浙公网安备 33010602011771号