centos6.5手动部署ceph0.94过程

一、环境

2台虚拟机? 192.168.0.141? hwc1?? 192.168.0.142? hwc2 系统：centos 6.5? 64位 当前环境内核：3.14 Osd:????? 每台主机一个osd??? 分区为sdb1 Mon:???????? hwc1 Mds:??? ??? hwc1

二、部署yum源

建立ceph的repo文件 [root@hwc1 yum.repos.d]# vi ceph.repo [root@hwc1 yum.repos.d]# pwd /etc/yum.repos.d 添加如下内容： [ceph] name=Ceph packages for $basearch baseurl=http://ceph.com/rpm/el6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc   [ceph-noarch] name=Ceph noarch packages baseurl=http://ceph.com/rpm/el6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc   [ceph-source] name=Ceph source packages baseurl=http://ceph.com/rpm/el6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc 另外一台主机做同样的操作。 每台主机安装yum-plugin-priorities [root@hwc1 yum.repos.d]# yum install yum-plugin-priorities –y

三、安装ceph

每台主机执行如下操作： [root@hwc1 yum.repos.d]#? yum install ceph -y 等待安装 [root@hwc1 yum.repos.d]# ceph -v ceph version 0.94.6 (e832001feaf8c176593e0325c8298e3f16dfb403) [root@hwc1 yum.repos.d]#

四、配置hosts文件

每台主机都配置如下内容 [root@hwc1 yum.repos.d]# cat /etc/hosts 127.0.0.1 localhost 192.168.0.141???? hwc1 192.168.0.142???? hwc2

五、配置ceph.conf文件

在hwc1? 192.168.0.141机器上做如下操作 [root@hwc1 yum.repos.d]# cd /etc/ceph/ [root@hwc1 ceph]# ll total 4 -rwxr-xr-x 1 root root 92 Mar? 4 00:06 rbdmap [root@hwc1 ceph]# uuidgen 30f6e92c-9b92-45b7-9656-cd3f2547bda6 [root@hwc1 ceph]# vi ceph.conf [root@hwc1 ceph]# cat ceph.conf fsid=30f6e92c-9b92-45b7-9656-cd3f2547bda6 mon initial members = hwc1 mon host = 192.168.0.141

六、配置mon

[root@hwc1 ceph]# ceph-authtool --create-keyring /etc/ceph/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *' 回车 creating /etc/ceph/ceph.mon.keyring [root@hwc1 ceph]# ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow' 回车 creating /etc/ceph/ceph.client.admin.keyring [root@hwc1 ceph]# ceph-authtool /etc/ceph/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring 回车 importing contents of /etc/ceph/ceph.client.admin.keyring into /etc/ceph/ceph.mon.keyring [root@hwc1 ceph]# monmaptool --create --add hwc1 192.168.0.141 --fsid 30f6e92c-9b92-45b7-9656-cd3f2547bda6 /etc/ceph/monmap 回车 monmaptool: monmap file /etc/ceph/monmap monmaptool: set fsid to 30f6e92c-9b92-45b7-9656-cd3f2547bda6 monmaptool: writing epoch 0 to /etc/ceph/monmap (1 monitors) [root@hwc1 ceph]#

七、重新编辑ceph.conf

fsid=30f6e92c-9b92-45b7-9656-cd3f2547bda6 mon initial members = hwc1 mon host = 192.168.0.141 增加如下 auth service required = none auth client required = none filestore xattr use omap = true public network = 192.168.0.1/24 osd pool default size =2 osd pool default min size =1 osd pool default pg num = 64 osd pool default pgp num = 64 osd crush chooseleaf type = 1 osd mkfs type = xfs osd mount options xfs = rw,noatime,inode64,logbsize=256k,delaylog 创建mon目录 [root@hwc1 ceph]# mkdir /var/lib/ceph/mon/ceph-hwc1 [root@hwc1 ceph]# ceph-mon --cluster ceph --mkfs -i hwc1 --monmap /etc/ceph/monmap --keyring /etc/ceph/ceph.mon.keyring 回车 ceph-mon: set fsid to 30f6e92c-9b92-45b7-9656-cd3f2547bda6 ceph-mon: created monfs at /var/lib/ceph/mon/ceph-hwc1 for mon.hwc1 [root@hwc1 ceph]# [root@hwc1 ceph]# touch /var/lib/ceph/mon/ceph-hwc1/done [root@hwc1 ceph]# touch /var/lib/ceph/mon/ceph-hwc1/sysvinit 在ceph.conf文件添加如下信息 [mon.hwc1] mon addr = 192.168.0.141 host = hwc1 启动mon [root@hwc1 ceph]# /etc/init.d/ceph start mon.hwc1 === mon.hwc1 === Starting Ceph mon.hwc1 on hwc1... 2016-03-23 11:29:23.064956 7fa143bd1780 -1 WARNING: 'mon addr' config option 192.168.0.141:0/0 does not match monmap file continuing with monmap configuration Starting ceph-create-keys on hwc1... 八、查看mon状态

九、添加osd

[root@hwc1 ceph]# mkdir /var/lib/ceph/osd/ceph-0 给磁盘sdb分区 Fdisk /dev/sdb 过程略 [root@hwc1 ceph]# ceph-disk prepare --cluster ceph --cluster-uuid 30f6e92c-9b92-45b7-9656-cd3f2547bda6 --fs-type xfs /dev/sdb1 [root@hwc1 ceph]# ceph-disk activate /dev/sdb1 查看mount /dev/sdb1 on /var/lib/ceph/osd/ceph-0 type xfs (rw,noatime,inode64,logbsize=256k,delaylog) [root@hwc1 ceph]# blkid 找到sdb1的uuid号，在vcfs.conf文件添加如下 在hwc2上部署osd 将mon机器hwc1主机上的/etc/ceph/ceph.conf、ceph.client.admin.keyring /var/lib/ceph/bootstrap-osd/ceph-keyring复制到hwc2的想对应的目录 [root@hwc1 ceph]# scp /etc/ceph/ceph.conf ceph.client.admin.keyring root@192.168.0.142:/etc/ceph/ [root@hwc1 ceph]# scp /var/lib/ceph/bootstrap-osd/ceph.keyring root@192.168.0.142:/var/lib/ceph/bootstrap-osd/ 在hwc2机器上操作 [root@hwc2 ceph]# mkdir /var/lib/ceph/osd/ceph-1 给磁盘sdb分区，过程略 [root@hwc2 ceph]#? ceph-disk prepare --cluster ceph --cluster-uuid 30f6e92c-9b92-45b7-9656-cd3f2547bda6 --fs-type xfs /dev/sdb1 [root@hwc2 ceph]# ceph-disk activate /dev/sdb1 查看mount /dev/sdb1 on /var/lib/ceph/osd/ceph-1 type xfs (rw,noatime,inode64,logbsize=256k,delaylog) [root@hwc2 ceph]# blkid Blkid记录磁盘uuid,编辑ceph.conf添加如下 将新增加的这一段osd.1? 添加到hwc1机器中的ceph.conf文件中。始终保持2台主机这个配置文件一致。

十、部署mds

没有mds信息，在mds主机hwc1中执行如下操作： [root@hwc1 ceph]# ceph-authtool --create-keyring --gen-key -n mds.1 /etc/ceph/mds.1.keyring 回车 creating /etc/ceph/mds.1.keyring [root@hwc1 ceph]# ceph auth add mds.1 osd 'allow *' mon 'allow rwx' mds 'allow' -i /etc/ceph/mds.1.keyring 回车 added key for mds.1 在ceph.conf文件中添加如下 启动mds [root@hwc1 ceph]#/etc/init.d/ceph -a start mds.1 创建文件系统 [root@hwc1 ceph]# ceph osd pool create data 64 pool 'data' created [root@hwc1 ceph]# ceph osd pool create metadata 64 pool 'metadata' created [root@hwc1 ceph]# ceph fs new cephfs? metadata data new fs with metadata pool 2 and data pool 1 [root@hwc1 ceph]# ceph mds stat 查看集群状态 将ceph.conf文件与hwc2主机的此文件保持一致 [root@hwc1 ceph]# scp /etc/ceph/ceph.conf root@192.168.0.142:/etc/ceph/

十一、fuse挂载测试

安装fuse [root@hwc1 ceph]# yum install ceph-fuse ceph-fuse -m 192.168.0.141 /mnt dd测试读写OK 完成部署测试。