Gluster FS manual

Glusterfs 服务端操作手册

0. 管理服务器：

0.1 管理Gluster服务

​ 要手动启动glusterd，请输入以下命令：

​ /etc/init.d/glusterd start

​ or

​ systemctl enable glusterd(开机自启动)

​ systemctl start glusterd

​

​ 要手动停止glusterd，请输入以下命令：

​ /etc/init.d/glusterd stop

​ or

​ systemctl disable glusterd(禁止开机自启动)

​ systemctl stop glusterd

0.2 添加服务器（建立信任关系）

​ Gluster命令是glusterfs最核心的操作命令，基本上函盖了大部分的功能配置。

​ 添加操作只需要在其中一个节点完成(gsd1, gsd2, gsd3 必须在三台服务器/etc/hosts中有正确的条目或者有可靠的DNS服务器)

​ gsd1# gluster peer probe gsd2

​ gsd1# gluster peer probe gsd3

​ 查看信任状态

​ gsd1# gluster peer status

​ Number of Peers: 2

​

​ Hostname: gsd2

​ Uuid: 5e987bda-16dd-43c2-835b-08b7d55e94e5

​ State: Peer in Cluster (Connected)

​

​ Hostname: gsd3

​ Uuid: 1e0ca3aa-9ef7-4f66-8f15-cbc348f29ff7

​ State: Peer in Cluster (Connected)

​ 查看已信任服务器列表

​ gsd1# gluster pool list

​ UUID Hostname State

​ d18d36c5-533a-4541-ac92-c471241d5418 localhost Connected

​ 5e987bda-16dd-43c2-835b-08b7d55e94e5 gsd2 Connected

​ 1e0ca3aa-9ef7-4f66-8f15-cbc348f29ff7 gsd3 Connected

​ 删除服务器

​ gsd1# gluster peer detach gsd4

1. 配置存储：

1.1 命名规则

​ 倾向于使用/data。放置砖块的良好分层方法是：

​ /data/glusterfs///brick

​ 在此示例中，

​ /data: 是固定规划的位置

​ glusterfs: 意味着该空间为glusterfs

​ : 表名在规划上此目录下的空间用于哪种用途的gv(gluster volume)

​ : 是用于承载数据的磁盘的挂载点（该磁盘已经格式化，如xfs）

​ brick: 即用于glusterd的brick（砖）比如命名为brick。通常多个节点中用于创建同一个gv

​ 的brick应当保证名称一样。

​ 如：gv0横跨gsd1,gsd2,gsd3.在三台主机上应使用统一命名的brick

​ gsd1: /data/glusterfs/fjdlyx_gv/100g_dsk1/brick

​ gsd2: /data/glusterfs/fjdlyx_gv/100g_dsk1/brick

​ gsd3: /data/glusterfs/fjdlyx_gv/100g_dsk1/brick

1.2 创建gv

​ 创建砖块之前，应当保证砖块所在的硬盘空间已经进行格式化。

​ 如以上提到的100g_dsk1所挂载的磁盘应当提前格式化（如，xfs）

​ 在其中一台服务器上执行创建语句：

​ gluster volume create fjdlyx_gv1 replica 2 gsd{1..3}:/data/glusterfs/fjdlyx_gv/100g_dsk1/brick

​ 若100g_dsk1空间不足，可尝试每个服务器提供两个砖块：

​ gluster volume create fjdlyx_gv1 replica 2 gsd{1..3}:/data/glusterfs/fjdlyx_gv/100g_dsk1/brick \

​ gsd{1..3}:/data/glusterfs/fjdlyx_gv/100g_dsk2/brick

​ 或者

​ gluster volume create fjdlyx_gv1 replica 2 gsd{1..3}:/data/glusterfs/fjdlyx_gv/100g_dsk{1,2}/brick

1.3 添加和格式化砖块

1.3.1 添加常规存储设备

​ fdisk /dev/sdb 创建分区sdb1

​ 格式化分区

​ mkfs.xfs /dev/sdb

1.3.2 添加逻辑卷存储设备

​ pvcreate --dataalignment 1280K /dev/sdb

​ vgcreate --physicalextentsize 128K gfs_vg /dev/sdb

​ 用于充当元数据设备

​ lvcreate -L 16g --name gfs_pool_meta gfs_vg

​ 用于充当数据设备

​ lvcreate -L 500g --name gfs_pool gfs_vg

​ 创建精简池

​ lvconvert --chunksize 1280K --thinpool gfs_vg/gfs_pool --poolmetadata gfs_vg/gfs_pool_meta

​

​ 精简池中新配置的块被清零，以防止不同块设备之间的数据泄漏

​ lvchange --zero n gfs_vg/gfs_pool

​

​ 创建精简配置卷（建议一个池子一个卷）

​ lvcreate -V 1G -T gfs_vg/gfs_pool -n gfs_lv

​

​ 格式化为xfs

​ mkfs.xfs -f -i size=512 -n size=8192 -d su=128k,sw=10 DEVICE

​ DEVICE: thin LV

​ inode: 512 # 具有良好的兼容性

​ size: 8192 # 块大小

​

​ 设置/etc/fstab条目

​ /dev/gfs_vg/gfs_lv /mountpoint xfs rw,inode64,noatime,nouuid 1 2

Gluster Client 使用手册

客户端：

1. 安装 glusterfs-client

2. mount -t glusterfs gluster1:/gv0 /mnt

   # glusterfs 文件系统类型，

   # gluster1 是 gluster服务器主机名，如果没有DNS服务器可以写在/etc/hosts中，使用时以服务器上的记录为准。

   # :/gv0 为 gluster volume 即 gluster 卷， 通过服务器端 gluster volume list 获得。