Kubernetes存储——glusterfs(集群)

一、搭建 glusterfs(集群)版本:gluster-9

1.1 服务器规划

master(k8s集群) node1(k8s集群) node2(k8s集群)
192.168.99.201 192.168.99.202 192.168.99.203
glusterfs 服务端 glusterfs 服务端 glusterfs 服务端 glusterfs 服务端
192.168.99.204 192.168.99.205 192.168.99.206 192.168.99.207

1.2 环境准备

glusterfs 服务端 + 客户端配glusterfs官方yum源

$ yum install centos-release-gluster -y

glusterfs 服务端

$ yum install glusterfs-server -y
# 所有服务端节点安装glusterfs-server
$ systemctl enable glusterd --now
$ systemctl status glusterd
# 4个storage服务器建立连接不用两两连接,只需要找其中1个,连接另外3个各一次就OK了

# 这里在storage-01上操作
[root@storage-01 ~]# gluster peer probe storage-02
[root@storage-01 ~]# gluster peer probe storage-03
[root@storage-01 ~]# gluster peer probe storage-04

$ gluster peer status
# 在所有服务端上都可以使用该命令来验证检查

注意:

  • 如果这一步建立连接有问题(一般问题会出现在网络连接、防火墙、selinux、主机名绑定等)
  • 如果想重做这一步,可以使用gluster peer detach xxxxx [force] 来断开连接,重新做

所有storage服务器准备存储目录(可以用单独的分区,也可以使用根分区)

# 这里的storage服务器没有准备额外的硬盘,所以这里用根分区来做实验
但生产环境肯定是不建议数据盘和系统盘在一起的

$ mkdir -p /data/gv0

1.3 gluster模式

1.3.1 replica模式
$ gluster volume create gv0 replica 4 storage-01:/data/gv0/ storage-02:/data/gv0/ storage-03:/data/gv0/ storage-04:/data/gv0/ force

$ gluster volume info gv0
$ gluster volume start gv0
$ gluster volume info gv0

glusterfs 客户端

replica卷测试(读写测试)

这里直接使用(k8s集群)node01 + node02 来测试

$ yum install centos-release-gluster -y
$ yum install glusterfs glusterfs-fuse -y
[root@k8s-node01 ~]# mkdir /test1

# 挂载前需要解析(配置/etc/hosts)
[root@k8s-node01 ~]# mount -t glusterfs storage-01:/gv0 /test1
[root@k8s-node01 ~]# df -h | tail -1

客户端也需要在/etc/hosts文件里绑定存储节点的主机名,才可以挂载

这里client是挂载storage-01,也可以挂载storage-02,storage-03任意一个。(也就是说这3个storage 既是老板,又是员工。这是glusterfs的一个特点,其它的分布式存储软件基本上都会有专门的管理server)

在客户端使用dd命令往挂载目录里写文件,然后查看在storage服务器上的分布情况!

$ dd if=/dev/zero of=/test1/file1 bs=1M count=100

读写操作请都在客户端进行,不要在storage服务器上操作

读写测试结果:结果类似raid1

同读同写测试:两个(多个)客户端挂载后实现同读同写(文件存储类型的特点)!

[root@k8s-node02 ~]# mkdir /test2

# 挂载前需要解析(配置/etc/hosts)
[root@k8s-node02 ~]# mount -t glusterfs storage-01:/gv0 /test2
[root@k8s-node02 ~]# df -h | tail -1

[root@k8s-node02 ~]# dd if=/dev/zero of=/test2/file1 bs=1M count=100
[root@k8s-node01 ~]# rm /test1/* -rf
[root@k8s-node01 ~]# umount /test1

[root@k8s-node02 ~]# rm /test2/* -rf
[root@k8s-node02 ~]# umount /test2

在任意一个storage服务器上停止gv0并删除,这里是在storage-01上操作!

[root@storage-01 ~]# gluster volume stop gv0
[root@storage-01 ~]# gluster volume delete gv0
[root@storage-01 ~]# gluster volume info
1.3.2 stripe模式(新版本已废弃)

做成 stripe模式的卷(重点是命令里的 stripe 4参数)

$ gluster volume create gv0 stripe 4 storage-01:/data/gv0/ storage-02:/data/gv0/ storage-03:/data/gv0/ storage-04:/data/gv0/ force

读写测试结果:文件过小,不会平均分配给存储节点。有一定大小的文件会平均分配。类似raid0。

1.3.3 distributed 模式

创建 distributed卷 gv1(不指定 replica 或 stripe 就默认是 distributed 的模式!

$ mkdir -p /data/gv1
$ gluster volume create gv1 storage-01:/data/gv1/ storage-02:/data/gv1/ storage-03:/data/gv1/ storage-04:/data/gv1/ force

$ gluster volume start gv1
$ gluster volume info gv1

# 客户端挂载
$ mkdir /test1
$ mount -t glusterfs storage-01:/gv1 /test1

读写测试结果: 写满第一个存储后,再写第二个存储(顺序是随机的)!

1.3.4 distributed-replica 模式
$ mkdir -p /data/gv2
$ gluster volume create gv2 replica 2 storage-01:/data/gv2/ storage-02:/data/gv2/ storage-03:/data/gv2/ storage-04:/data/gv2/ force

$ gluster volume start gv2
$ gluster volume info gv2

# 客户端挂载
$ mkdir /test2
$ mount -t glusterfs storage-01:/gv2 /test2

读写测试结果:4个存储先写其中2个(并在这两个存储里镜像),写满这两个后, 再按相同方式写另2个存储。

1.3.5 disperse 模式
$ mkdir -p /data/gv3
$ gluster volume create gv3 disperse 4 storage-01:/data/gv3/ storage-02:/data/gv3/ storage-03:/data/gv3/ storage-04:/data/gv3/ force
# 注意:没有指定冗余值,默认为1,按y确认

$ gluster volume start gv3
$ gluster volume info gv3
# Number of Bricks: 1 x (3 + 1) = 4 这里看到冗余数为1

# 客户端挂载
$ mkdir /test3
$ mount -t glusterfs storage-01:/gv3 /test3

读写测试结果: 写100M,每个存储服务器上占33M左右。因为4个存储1个为冗余(与raid5一样)

1.3.6 在线裁减与在线扩容

在线裁减要看是哪一种模式的卷,比如 stripe 模式就不允许在线裁减。下面以distributed卷来做裁减与扩容!

在线裁减(注意要remove没有数据的brick)

$ gluster volume remove-brick gv1 storage-04:/data/gv1 force

在线扩容

$ gluster volume add-brick gv1 storage-04:/data/gv1 force

二、配置 k8s 使用 glusterfs 持久化存储

2.1 直接使用glusterfs作为存储卷

$ cat > glusterfs-cluster.yaml << EOF
apiVersion: v1
kind: Endpoints
metadata:
  name: glusterfs-cluster
  namespace: default
subsets:
- addresses:
  - ip: 192.168.99.204
  - ip: 192.168.99.205
  - ip: 192.168.99.206
  - ip: 192.168.99.207
  ports:
  - port: 49152
    protocol: TCP
EOF

$ cat > nginx_deployment_test.yaml << EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment-test
spec:
  replicas: 3
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          ports:
            - containerPort: 80
          volumeMounts:
            - name: storage001
              mountPath: "/usr/share/nginx/html"
      volumes:
      - name: storage001
        glusterfs:
          endpoints: glusterfs-cluster
          path: gv0 # 修改
          readOnly: false
EOF

2.2 使用静态pv+pvc

$ cat > glusterfs-pv.yaml << EOF
apiVersion: v1
kind: PersistentVolume
metadata:
  name: glusterfs-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: glusterfs-cluster
    path: gv1 # 修改
    readOnly: false
EOF

$ cat > glusterfs-pvc.yaml << EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: glusterfs-pvc
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
EOF

$ cat > nginx_deployment.yaml << EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      name: nginx
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          ports:
            - containerPort: 80
          volumeMounts:
            - name: storage001
              mountPath: "/usr/share/nginx/html"
      volumes:
      - name: storage001
        persistentVolumeClaim:
          claimName: glusterfs-pvc
EOF
*************** 当你发现自己的才华撑不起野心时,就请安静下来学习吧!***************
posted @ 2021-10-17 22:16  吕振江  阅读(93)  评论(0编辑  收藏  举报
浏览器标题切换
浏览器标题切换end