部署ceph集群（Nautilus版）

参考文档：

一、ceph简介

1.1 ceph架构图

ceph架构图

1.2 ceph支持的三种接口

Object：有原生的API，而且也兼容 Swift 和 S3 的 API；
Block：支持精简配置、快照、克隆；
File：Posix 接口，支持快照；

1.3 ceph特点

统一存储；
无任何单点故障；
数据多份冗余；
存储容量可扩展；
自动容错及故障自愈；

1.4 ceph核心组件及其作用

在Ceph存储集群中，包含了三大角色组件，他们在Ceph存储集群中表现为3个守护进程，分别是Ceph OSD、Monitor、Managers。当然还有其他的功能组件，但是最主要的是这三个。

Ceph OSD： Ceph的OSD（Object Storage Device）守护进程。主要功能包括：存储数据、副本数据处理、数据恢复、数据回补、平衡数据分布，并将数据相关的一些监控信息提供给Ceph Moniter,以便Ceph Moniter来检查其他OSD的心跳状态。一个Ceph OSD存储集群，要求至少两个Ceph OSD,才能有效的保存两份数据。注意，这里的两个Ceph OSD是指运行在两台物理服务器上，并不是在一台物理服务器上运行两个Ceph OSD的守护进程。通常，冗余和高可用性至少需要3个Ceph OSD。
Monitor： Ceph的Monitor守护进程，主要功能是维护集群状态的表组，这个表组中包含了多张表，其中有Moniter map、OSD map、PG(Placement Group) map、CRUSH map。这些映射是Ceph守护进程之间相互协调的关键簇状态。监视器还负责管理守护进程和客户端之间的身份验证。通常需要至少三个监视器来实现冗余和高可用性。
Managers： Ceph的Managers（Ceph Manager），守护进程（ceph-mgr）负责跟踪运行时间指标和Ceph群集的当前状态，包括存储利用率，当前性能指标和系统负载。 Ceph Manager守护程序还托管基于python的插件来管理和公开Ceph集群信息，包括基于Web的仪表板和REST API。通常，至少有两名Manager需要高可用性。
MDS： Ceph的MDS（Metadata Server）守护进程，主要保存的是Ceph文件系统的元数据。注意，对于Ceph的块设备和Ceph对象存储都不需要Ceph MDS守护进程。Ceph MDS为基于POSIX文件系统的用户提供了一些基础命令的执行，比如ls、find等，这样可以很大程度降低Ceph存储集群的压力。

1.5 ceph应用场景

Ceph的应用场景主要由它的架构确定，Ceph提供对象存储、块存储和文件存储，主要由以下4种应用场景：

LIBRADOS应用：通俗的说，Librados提供了应用程序对RADOS的直接访问，目前Librados已经提供了对C、C++、Java、Python、Ruby和PHP的支持。它支持单个单项的原子操作，如同时更新数据和属性、CAS操作，同时有对象粒度的快照操作。它的实现是基于RADOS的插件API，也就是在RADOS上运行的封装库。
RADOSGW应用：这类应用基于Librados之上，增加了HTTP协议，提供RESTful接口并且兼容S3、Swfit接口。RADOSGW将Ceph集群作为分布式对象存储，对外提供服务。
RBD应用：这类应用也是基于Librados之上的，细分为下面两种应用场景。
- 第一种应用场景为虚拟机提供块设备。通过Librbd可以创建一个块设备（Container），然后通过QEMU/KVM附加到VM上。通过Container和VM的解耦，使得块设备可以被绑定到不同的VM上。
- 第二种应用场景为主机提供块设备。这种场景是传统意义上的理解的块存储。
- 以上两种方式都是将一个虚拟的块设备分片存储在RADOS中，都会利用数据条带化提高数据并行传输，都支持块设备的快照、COW（Copy-On-Write）克隆。最重要的是RBD还支持Live migration。
CephFS（Ceph文件系统）应用：这类应用是基于RADOS实现的PB级分布式文件系统，其中引入MDS（Meta Date Server）,它主要为兼容POSIX文件系统提供元数据，比如文件目录和文件元数据。同时MDS会将元数据存储在RADOS中，这样元数据本身也达到了并行化，可以大大加快文件操作的速度。MDS本身不为Client提供数据文件，只为Client提供对元数据的操作。当Client打开一个文件时，会查询并更新MDS相应的元数据（如文件包括的对象信息），然后再根据提供的对象信息直接从RADOS中得到文件数据。

二、部署前的准备

2.1 环境准备

OS	hostname	ip	roles
Centos 7.6	ceph-node-11	192.168.99.11 / 192.168.100.11	ceph-deploy、monitor、Managers、rgw、mds
Centos 7.6	ceph-node-12	192.168.99.12 / 192.168.100.12	monitor、Managers、rgw、mds
Centos 7.6	ceph-node-13	192.168.99.13 / 192.168.100.13	monitor、Managers、rgw、mds

注：每个节点有两块硬盘、两块网卡以便测试，使用ceph-deploy工具部署ceph存储。

2.2 系统初始化

注：如果没有特别注明的，均需在所有节点上执行。

2.2.1 关闭防火墙及SELinux

$ systemctl stop firewalld && systemctl disable firewalld
# 关闭防火墙

$ setenforce 0
$ sed -i 's#^SELINUX=.*#SELINUX=disabled#g' /etc/selinux/config
$ sed -i 's#^SELINUX=.*#SELINUX=disabled#g' /etc/sysconfig/selinux
# 关闭selinux

2.2.2 修改主机名

$ hostnamectl set-hostname HOSTNAME
# 将 HOSTNAME 替换为你实际主机名

$ bash
$ source /etc/profile
# 所有节点执行刷新生效

2.2.3 配置hosts解析记录

$ cat >> /etc/hosts << EOF
192.168.99.11 ceph-node-11
192.168.99.12 ceph-node-12
192.168.99.13 ceph-node-13
EOF

2.2.4 配置免密登录

注：仅在ceph-node-11节点上执行即可！

$ ssh-keygen -t rsa -P ''
$ for i in ceph-node-1{1..3};do ssh-copy-id $i;done

2.2.5 调整内核参数

$ cat > /etc/sysctl.conf << EOF
kernel.sysrq = 0
kernel.core_uses_pid = 1
fs.file-max=655360
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
kernel.pid_max = 655360
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_max_tw_buckets = 262144
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_ecn = 0
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_max_orphans = 655360
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_mem = 65536 131072 262144
net.ipv4.udp_mem = 65536 131072 262144
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.route.gc_timeout = 100
# 禁止icmp重定向报文
net.ipv4.conf.all.accept_redirects = 0
# 禁止icmp源路由
net.ipv4.conf.all.accept_source_route = 0
net.core.somaxconn = 65535
net.core.rmem_default = 8388608
net.core.wmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
vm.swappiness = 3
vm.overcommit_memory = 1
vm.max_map_count = 262144
EOF

$ sysctl -p
# 刷新生效

2.2.6 调整文件描述符

$ mv /etc/security/limits.conf{,.bak}
$ cat > /etc/security/limits.conf  << EOF
*                -       nofile          650000
*                -       memlock         unlimited
*                -       stack           655360
*                -       nproc           unlimited
EOF

注：执行此操作后，需要重新打开终端，才可生效。

2.3 配置ntp

2.3.1 配置ntp服务端

在ceph-node-11节点执行以下命令：

$ yum -y install ntp
$ systemctl restart ntpd && systemctl enable ntpd
$ ntpq -pn
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
 202.118.1.130   .PTP.            1 u   54   64    1   15.872    5.698   0.533
*94.130.49.186   195.13.23.5      3 u   53   64    1  247.532   48.687   2.505
 84.16.73.33     .GPS.            1 u   52   64    1  156.447    0.530  11.460
 37.59.63.125    193.190.230.65   2 u   51   64    1  193.511    8.610  11.553
# * 表示同步完成

如果ntp服务长时间没有同步成功的话！使用以下方案：

让NTP Server和其自身保持同步，如果在/etc/ntp.conf中定义的server都不可用时，将使用local时间作为ntp服务提供给ntp客户端。
在/etc/ntp.conf文件中（任意位置）添加以下内容：

server 127.127.1.0 fudge
127.127.1.0 stratum 8

2.3.2 配置其他节点同步控制节点时间

$ mv /etc/ntp.conf{,.bak}
$ cat > /etc/ntp.conf  << EOF
driftfile /var/lib/ntp/drift
restrict default nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict ::1
server 192.168.99.11 iburst
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
disable monitor
EOF
$ systemctl restart ntpd && systemctl enable ntpd
$ ntpq -pn
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.99.11   94.130.49.186    4 u   30   64    3    0.437   -5.033   3.903

2.4 配置yum源

$ mkdir /etc/yum.repos.d/bak
$ mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/
# 备份原本的yum文件

$ curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
$ curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
# 更换为阿里云源

$ cat > /etc/yum.repos.d/ceph.repo << "EOF"
[ceph-norch]
name=ceph-norch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0
[ceph-x86_64]
name=ceph-x86_64 
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0
EOF
# 配置ceph-nautilus源

$ yum clean all && yum makecache fast

2.5 安装ceph基础工具

注：仅在ceph-node-11节点上执行即可！

$ yum -y install python-setuptools ceph-deploy

$ ceph-deploy --version     # 确保ceph-deploy版本为2.0.1
2.0.1

三、部署ceph集群（Nautilus版）

注：仅在ceph-node-11节点上执行即可！

3.1 部署admin

创建一个Ceph Monitor和三个Ceph OSD守护进程的Ceph存储集群。集群达到状态后，通过添加第四个Ceph OSD守护程序，一个元数据服务器和两个以上的Ceph Monitors对其进行扩展。

$ mkdir ceph-deploy && cd ceph-deploy
# 以下操作均在该目录下
$ ceph-deploy new --public-network 192.168.99.0/24 \
  --cluster-network 192.168.100.0/24 ceph-node-11
# --public-network：对外网络，用于客户端访问
# --cluster-network：集群内部信息同步网络
# ceph-node-11：将此节点设置为Monitor节点

上述命令执行后，输出如下：

部署admin效果图

$ ls    # 命令执行成功后，会生成配置文件、日志文件、秘钥文件
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring
$ cat ceph.conf        # 生成的配置文件内容如下
# 如果有错误之处，可以根据自己实际情况修改
[global]
fsid = b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
public_network = 192.168.99.0/24
cluster_network = 192.168.100.0/24
mon_initial_members = ceph-node-11
mon_host = 192.168.99.11
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

3.2 安装ceph软件包

注：该步骤在所有ceph节点上执行！

$ yum -y install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds
# 不要使用官方提供的 ceph-deploy install 命令进行安装，它会自己再配置yum源，安装较慢

3.3 部署monitor节点

$ ceph-deploy mon create-initial
# 输出信息较多 没有明显报错即可！

3.4 拷贝admin的秘钥文件

$ ceph-deploy admin ceph-node-11 ceph-node-12 ceph-node-13
# admin后面指定ceph集群中的所有节点
# 没有明显报错即可！

3.5 确认集群状态

$ ceph -s     # 查看集群状态
  cluster:
    id:     b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum ceph-node-11 (age 2m)   # 包含一个monitor
    mgr: no daemons active
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

使用ceph -s查看ceph状态如果出现 mon is allowing insecure global_id reclaim可以参考：ceph -s 出现 mon is allowing insecure global_id reclaim

3.6 部署manager

$ ceph-deploy mgr create ceph-node-11
# 将manager守护程序部署在 ceph-node-11

$ ceph -s     # 查看集群状态
  cluster:
    id:     b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 1 daemons, quorum ceph-node-11 (age 4m)
    mgr: ceph-node-11(active, since 30s)    # 新增一个manager节点
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

3.7 创建三个OSD

每个机器至少需要一块全新硬盘，确保没有被格式化过。

$ ceph-deploy osd create --data /dev/sdb ceph-node-11
$ ceph-deploy osd create --data /dev/sdb ceph-node-12
$ ceph-deploy osd create --data /dev/sdb ceph-node-13

$ ceph -s      # 查看集群状态
  cluster:
    id:     b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum ceph-node-11 (age 7m)
    mgr: ceph-node-11(active, since 3m)
    osd: 3 osds: 3 up (since 5s), 3 in (since 5s)     # 包含了三个osd
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 297 GiB / 300 GiB avail
    pgs: 

$ ceph osd tree
ID CLASS WEIGHT  TYPE NAME             STATUS REWEIGHT PRI-AFF 
-1       0.29306 root default                                  
-3       0.09769     host ceph-node-11                         
 0   hdd 0.09769         osd.0             up  1.00000 1.00000 
-5       0.09769     host ceph-node-12                         
 1   hdd 0.09769         osd.1             up  1.00000 1.00000 
-7       0.09769     host ceph-node-13                         
 2   hdd 0.09769         osd.2             up  1.00000 1.00000

3.8 ceph集群扩容

3.8.1 扩容monitor节点

一个Ceph存储集群至少需要一个Ceph Monitor和Ceph Manager才能运行。为了获得高可用性，Ceph存储群集通常运行多个Ceph Monitor，这样可以避免单点故障。

Ceph使用Paxos算法，节点数量最好是奇数（即，大于N / 2，其中N是Monitor的数量）才能形成仲裁。尽管这不是必需的。

3.8.1.1 扩容第一个monitor节点

$ ceph-deploy mon add ceph-node-12 
# 添加 ceph-node-12 为monitor节点
# 没有明显报错即可！

$ ceph quorum_status --format json-pretty  # 检查仲裁状态

{
    "election_epoch": 8,
    "quorum": [
        0,
        1
    ],
    "quorum_names": [     // 加入仲裁的节点
        "ceph-node-11",
        "ceph-node-12"
    ],
    "quorum_leader_name": "ceph-node-11",      // 当前leader
    "quorum_age": 74,
    "monmap": {
        "epoch": 2,
        "fsid": "b7f51d3e-71ca-42a5-ace9-8785c9c53dcf",
        "modified": "2021-05-06 23:19:03.899203",
        "created": "2021-05-06 23:07:23.786238",
        "min_mon_release": 14,
        "min_mon_release_name": "nautilus",
        "features": {
            "persistent": [
                "kraken",
                "luminous",
                "mimic",
                "osdmap-prune",
                "nautilus"
            ],
            "optional": []
        },
        "mons": [
            {
                "rank": 0,
                "name": "ceph-node-11",
                "public_addrs": {
                    "addrvec": [
                        {
                            "type": "v2",
                            "addr": "192.168.99.11:3300",
                            "nonce": 0
                        },
                        {
                            "type": "v1",
                            "addr": "192.168.99.11:6789",
                            "nonce": 0
                        }
                    ]
                },
                "addr": "192.168.99.11:6789/0",
                "public_addr": "192.168.99.11:6789/0"
            },
            {
                "rank": 1,
                "name": "ceph-node-12",
                "public_addrs": {
                    "addrvec": [
                        {
                            "type": "v2",
                            "addr": "192.168.99.12:3300",
                            "nonce": 0
                        },
                        {
                            "type": "v1",
                            "addr": "192.168.99.12:6789",
                            "nonce": 0
                        }
                    ]
                },
                "addr": "192.168.99.12:6789/0",
                "public_addr": "192.168.99.12:6789/0"
            }
        ]
    }
}

3.8.1.2 扩容第二个monitor节点

$ ceph-deploy mon add ceph-node-13
# 添加 ceph-node-13 为monitor节点
# 没有明显报错即可！

$ ceph quorum_status --format json-pretty  
# 确认三个节点加入仲裁

{
    "election_epoch": 12,
    "quorum": [
        0,
        1,
        2
    ],
    "quorum_names": [
        "ceph-node-11",
        "ceph-node-12",
        "ceph-node-13"
    ],
    "quorum_leader_name": "ceph-node-11",
    "quorum_age": 7,
    "monmap": {
        "epoch": 3,
        "fsid": "b7f51d3e-71ca-42a5-ace9-8785c9c53dcf",
        "modified": "2021-05-06 23:23:13.222443",
        "created": "2021-05-06 23:07:23.786238",
        "min_mon_release": 14,
        "min_mon_release_name": "nautilus",
        "features": {
            "persistent": [
                "kraken",
                "luminous",
                "mimic",
                "osdmap-prune",
                "nautilus"
            ],
            "optional": []
        },
        "mons": [
            {
                "rank": 0,
                "name": "ceph-node-11",
                "public_addrs": {
                    "addrvec": [
                        {
                            "type": "v2",
                            "addr": "192.168.99.11:3300",
                            "nonce": 0
                        },
                        {
                            "type": "v1",
                            "addr": "192.168.99.11:6789",
                            "nonce": 0
                        }
                    ]
                },
                "addr": "192.168.99.11:6789/0",
                "public_addr": "192.168.99.11:6789/0"
            },
            {
                "rank": 1,
                "name": "ceph-node-12",
                "public_addrs": {
                    "addrvec": [
                        {
                            "type": "v2",
                            "addr": "192.168.99.12:3300",
                            "nonce": 0
                        },
                        {
                            "type": "v1",
                            "addr": "192.168.99.12:6789",
                            "nonce": 0
                        }
                    ]
                },
                "addr": "192.168.99.12:6789/0",
                "public_addr": "192.168.99.12:6789/0"
            },
            {
                "rank": 2,
                "name": "ceph-node-13",
                "public_addrs": {
                    "addrvec": [
                        {
                            "type": "v2",
                            "addr": "192.168.99.13:3300",
                            "nonce": 0
                        },
                        {
                            "type": "v1",
                            "addr": "192.168.99.13:6789",
                            "nonce": 0
                        }
                    ]
                },
                "addr": "192.168.99.13:6789/0",
                "public_addr": "192.168.99.13:6789/0"
            }
        ]
    }
}

3.8.2 检查ceph集群状态

$ ceph -s
  cluster:
    id:     b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
    health: HEALTH_OK
 
  services:     #确保有三个monitor
    mon: 3 daemons, quorum ceph-node-11,ceph-node-12,ceph-node-13 (age 71s)
    mgr: ceph-node-11(active, since 12m)
    osd: 3 osds: 3 up (since 9m), 3 in (since 9m)
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 297 GiB / 300 GiB avail
    pgs: 

$ ceph mon stat     # 也可以单独查看monitor状态
e3: 3 mons at {ceph-node-11=[v2:192.168.99.11:3300/0,v1:192.168.99.11:6789/0],ceph-node-12=[v2:192.168.99.12:3300/0,v1:192.168.99.12:6789/0],ceph-node-13=[v2:192.168.99.13:3300/0,v1:192.168.99.13:6789/0]}, election epoch 12, leader 0 ceph-node-11, quorum 0,1,2 ceph-node-11,ceph-node-12,ceph-node-13    

$ ceph mon dump     # dump查看monitor状态
dumped monmap epoch 3
epoch 3
fsid b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
last_changed 2021-05-06 23:23:13.222443
created 2021-05-06 23:07:23.786238
min_mon_release 14 (nautilus)
0: [v2:192.168.99.11:3300/0,v1:192.168.99.11:6789/0] mon.ceph-node-11
1: [v2:192.168.99.12:3300/0,v1:192.168.99.12:6789/0] mon.ceph-node-12
2: [v2:192.168.99.13:3300/0,v1:192.168.99.13:6789/0] mon.ceph-node-13

3.8.3 扩容manager节点

Ceph Manager守护进程以 active/standby 模式运行。当前active节点宕机后，处于standby状态的会自动提升为active节点。

$ ceph-deploy mgr create ceph-node-12 ceph-node-13
# 将ceph-node-12、ceph-node-13添加到manager集群
# 没有明显报错即可！

$ ceph -s     # 添加成功后，确认集群状态
  cluster:
    id:     b7f51d3e-71ca-42a5-ace9-8785c9c53dcf
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph-node-11,ceph-node-12,ceph-node-13 (age 6m)
    mgr: ceph-node-11(active, since 18m), standbys: ceph-node-12, ceph-node-13
    osd: 3 osds: 3 up (since 14m), 3 in (since 14m)
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 297 GiB / 300 GiB avail
    pgs:

至此，ceph集群部署完成。

posted @ 2021-05-06 23:31 吕振江阅读(1471) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

吕振江的博客

部署ceph集群（Nautilus版）

一、ceph简介

1.1 ceph架构图

1.2 ceph支持的三种接口

1.3 ceph特点

1.4 ceph核心组件及其作用

1.5 ceph应用场景

二、部署前的准备

2.1 环境准备

2.2 系统初始化

2.2.1 关闭防火墙及SELinux

2.2.2 修改主机名

2.2.3 配置hosts解析记录

2.2.4 配置免密登录

2.2.5 调整内核参数

2.2.6 调整文件描述符

2.3 配置ntp

2.3.1 配置ntp服务端

2.3.2 配置其他节点同步控制节点时间

2.4 配置yum源

2.5 安装ceph基础工具

三、部署ceph集群（Nautilus版）

3.1 部署admin

3.2 安装ceph软件包

3.3 部署monitor节点

3.4 拷贝admin的秘钥文件

3.5 确认集群状态

3.6 部署manager

3.7 创建三个OSD

3.8 ceph集群扩容

3.8.1 扩容monitor节点

3.8.1.1 扩容第一个monitor节点

3.8.1.2 扩容第二个monitor节点

3.8.2 检查ceph集群状态

3.8.3 扩容manager节点

公告

吕振江的博客

部署ceph集群 （Nautilus版）

一、ceph简介

1.1 ceph架构图

1.2 ceph支持的三种接口

1.3 ceph特点

1.4 ceph核心组件及其作用

1.5 ceph应用场景

二、部署前的准备

2.1 环境准备

2.2 系统初始化

2.2.1 关闭防火墙及SELinux

2.2.2 修改主机名

2.2.3 配置hosts解析记录

2.2.4 配置免密登录

2.2.5 调整内核参数

2.2.6 调整文件描述符

2.3 配置ntp

2.3.1 配置ntp服务端

2.3.2 配置其他节点同步控制节点时间

2.4 配置yum源

2.5 安装ceph基础工具

三、部署ceph集群（Nautilus版）

3.1 部署admin

3.2 安装ceph软件包

3.3 部署monitor节点

3.4 拷贝admin的秘钥文件

3.5 确认集群状态

3.6 部署manager

3.7 创建三个OSD

3.8 ceph集群扩容

3.8.1 扩容monitor节点

3.8.1.1 扩容第一个monitor节点

3.8.1.2 扩容第二个monitor节点

3.8.2 检查ceph集群状态

3.8.3 扩容manager节点

公告

部署ceph集群（Nautilus版）