1、修改yum源：
1、安装yum源：
sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/
sudo yum install --nogpgcheck -y epel-release
sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
/etc/yum.repos.d/ceph.repo
2、更新及下载：
sudo yum -y update
sudo yum -y install ceph-deploy
3、修改hosts文件：
192.168.78.101 node1
192.168.78.102 node2
192.168.78.103 node3
4、关闭防火墙及selinux：
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2、安装ceph：
1、创建ceph的用户：
sudo useradd -d /home/cephfs -m cephfs
sudo passwd cephfs
echo "cephfs ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephfs
sudo chmod 0440 /etc/sudoers.d/cephfs
2、无秘钥认证：
ssh-keygen
ssh-copy-id cephfs@node1
ssh-copy-id cephfs@node2
ssh-copy-id cephfs@node3
3、创建~/.ssh/config 文件：
Host node1
Hostname node1
User cephfs
Host node2
Hostname node2
User cephfs
Host node3
Hostname node3
User cephfs
4、安装：
1、创建集群（ceph-deploy需要在my-cluster目录运行）
mkdir my-cluster
cd my-cluster
ceph-deploy new node1
2、安装软件包：
ceph-deploy install node1 node2 node3
报错的：[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'
执行：sudo mv /etc/yum.repos.d/ceph.repo.rpmnew /etc/yum.repos.d/ceph.repo
2、部署初始监控并收集秘钥：
ceph-deploy mon create-initial
3、使用ceph-deploy将配置文件和管理密钥复制到您的管理节点和您的Ceph节：
ceph-deploy admin node1 node2 node3
4、添加三个OSD，为了达到这些说明的目的，我们假定在每个节点中都有一个未使用的磁盘/dev/vdb：
ceph-deploy osd create node1:vdb node2:vdb node3:vdb
5、检查节点是否正常
ssh node1 sudo ceph health
ssh node1 sudo ceph -s
6、修改/etc/ceph/ceph.conf文件增加：
rbd_default_features = 1
7、重启服务器（上步是为k8s使用ceph所做的操作
3、ceph的使用：
1、创建存储池：
ceph osd pool create image 64
2、创建一个镜像,-p参数指定池的名称，-size单位为M
rbd create test --size 1024 -p image
3、其他命令：
rados lspools 查看池子
ceph -s 或 ceph status 查看集群状态
ceph -w 观察集群健康状态
ceph quorum_status --format json-pretty 检查ceph monitor仲裁状态
ceph df 检查集群使用情况
ceph mon stat 检查monitor状态
ceph osd stat 检查osd状态
ceph pg stat 检查pg配置组状态
ceph pg dump 列出PG
ceph osd lspools 列出存储池
ceph osd tree 检查osd的crush map
ceph auth list 列出集群的认证密钥
ceph 获取每个osd上pg的数量
