glusterfs+heketi为k8s提供共享存储
背景
近来在研究k8s,学习到pv、pvc 、storageclass的时候，自己捣腾的时候使用nfs手工提供pv的方式，看到官方文档大量文档都是使用storageclass来定义一个后端存储服务， 使用pvc来自动申请pv,
所以花了点时间研究了下glusterfs配合heketi如果为k8s动态提供存储。
环境
| 主机名 | ip地址 | 角色 | 备注 |
| master | 192.168.16.10 | k8s-master,glusterfs,heketi | heketi只需要一个节点部署就可以了。 |
| node01 | 192.168.16.11 | k8s-node,glusterfs | |
| node02 | 192.168.16.12 | k8s-node,glusterfs |
gluster安装配置
gluster安装
下面操作需要在三个节点都需要执行。
# centos 需要安装下 centos-release-gluster9， 此包提供gluster相关的包
[root@master ~]# yum install centos-release-gluster9
[root@master ~]# yum install glusterfs-server
yum install fuse glusterfs-client
# 开机自启 [root@master ~]# systemctl enable glusterd && systemctl restart glusterd && systemctl status glusterd
gluster配置
# 各个节点启动后， 需要使用peer探测各个节点
[root@master ~]# gluster peer probe node01 [root@master ~]# gluster peer probe node02
# 查看探测后的状态 [root@master ~]# gluster peer status Number of Peers: 2 Hostname: node01 Uuid: c7c12e58-a7de-4948-b11f-52205e3b527c State: Peer in Cluster (Connected) Hostname: node02 Uuid: 7af10306-5643-424c-b1e7-85c4b22ec5c2 State: Peer in Cluster (Connected)
这一步骤确保集群的各个节点都是connected的。
heketi的安装和配置
heketi简介
我们这里使用heketi注意是给glusterfs提供rest的api服务， 这样就相当于给glusterfs和k8s之间架通了桥梁。我们的k8s就可以使用heketi提供的rest api完成对glusterfs的pv申请和管理。
heketi的安装
主节点安装heketi
[root@master ~]# yum install heketi
所有节点安装heketi-client
yum install heketi-client
heketi的配置
[root@master ~]# cd /etc/heketi/ [root@master heketi]# ll total 4 -rw-r--r-- 1 root root 1927 Sep 13 05:37 heketi.json
# 备份一下。 [root@master heketi]# cp heketi.json heketi.json.default [root@master heketi]# vim heketi.json # 修改如下配置 "port": "18080", "use_auth": true, "admin": { "key": "admin" }, "user": { "key": "admin" } "executor": "ssh", "sshexec": { "keyfile": "/home/heketi/.ssh/id_rsa", "user": "heketi", "port": "22",
"sudo": true, "fstab": "/etc/fstab" },
heketi有三种ececutor， 我们这里选择了生产环境中推荐的ssh方式， 由于大部分场景下root是禁止远程登录的 所以这里使用heketi用户来执行。
注意： 上面配置中的sudo是必须的， 否则会提示权限不足的。
准备用户和配置ssh免密码
#master节点 [root@master heketi]# id heketi uid=995(heketi) gid=992(heketi) groups=992(heketi)
# 原有的账户无home，无shell. 删除添加新的。 [root@master heketi]# userdel heketi [root@master heketi]# useradd heketi [root@master ~]# echo "heketi" |passwd --stdin heketi
# 切换到heketi生成key [root@master heketi]# su - heketi [heketi@master ~]$ ssh-keygen # node01节点 [root@node01 ~]# useradd heketi [root@node01 ~]# echo "heketi" |passwd --stdin heketi [root@node01 ~]# su - heketi [heketi@node01 ~]$ ssh-keygen # node02节点 [root@node02 ~]# useradd heketi [root@node02 ~]# echo "heketi" |passwd --stdin heketi [root@node02 ~]# su - heketi [heketi@node01 ~]$ ssh-keygen # ssh免密码信任 [heketi@master ~]$ ssh-copy-id master [heketi@master ~]$ ssh-copy-id node01 [heketi@master ~]$ ssh-copy-id node02
# 给heketisudo权限
[root@master heketi]# echo "heketi ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
[root@node01 heketi]# echo "heketi ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
[root@node02 heketi]# echo "heketi ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
启动heketi和测试heketi
# 这一个步骤是必须的， 默认的yum安装后，这个目录的所有者都是root的。 但是安装提供的service文件的user又是heketi. 导致不修改权限就是启动不起来的，坑啊。
[root@master ~]# chown heketi:heketi /etc/heketi/ -R
chown heketi:heketi /var/lib/heketi -R
[root@master ~]# systemctl enable heketi && systemctl start heketi && systemctl status heketi # 测试下heketi接口问题 [root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json cluster create {"id":"90f60d4e461bfb1dbd3fe3941740615c","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}
[root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json cluster delete 90f60d4e461bfb1dbd3fe3941740615c
创建集群
#创建集群
[root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json cluster create
{"id":"0c15099b0905cf490004ff3a4f0991e4","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}
# 节点管理（其中集群id为上面命令的返回值） [root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json node add --cluster "0c15099b0905cf490004ff3a4f0991e4" --management-host-name 192.168.16.10 --storage-host-name 192.168.16.10 --zone 1 [root@master ~]# heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.11 --storage-host-name 192.168.16.11 --zone 1 heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.12 --storage-host-name 192.168.16.12 --zone 1 # 添加设备 [root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 node list Id:179b08165b56df018a0ba295e2c78f22 Cluster:0c15099b0905cf490004ff3a4f0991e4 Id:a547a8327d3ba9fc51fe5e25d95236cb Cluster:0c15099b0905cf490004ff3a4f0991e4 Id:c65521c53de76c3f70d2ec828498a261 Cluster:0c15099b0905cf490004ff3a4f0991e4 [root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node 179b08165b56df018a0ba295e2c78f22 Device added successfully [root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node a547a8327d3ba9fc51fe5e25d95236cb Device added successfully [root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node c65521c53de76c3f70d2ec828498a261 Device added successfully
也有直接使用拓扑文件load方式的。 具体可以参考： https://github.com/heketi/heketi/blob/master/docs/admin/topology.md
k8s使用glusterfs
k8s中使用glusterfs的时候， 会根据pvc的申请自动创建对应的pv， 然后绑定。 这样我们在pod里面就可以指定具体的pvc了。
创建storageclass
[root@master ~]# cat k8s.storageclass.yml
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
name: glusterfs
provisioner: kubernetes.io/glusterfs
parameters:
resturl: "http://192.16.10:18080"
clusterid: "0c15099b0905cf490004ff3a4f0991e4"
restauthenabled: "true"
restuser: "admin"
restuserkey: "admin"
gidMin: "40000"
gidMax: "50000"
volumetype: "replicate:2"
创建pvc
[root@master ~]# cat pvc.yml kind: PersistentVolumeClaim apiVersion: v1 metadata: name: pvc1 namespace: default annotations: volume.beta.kubernetes.io/storage-class: "glusterfs" spec: accessModes: - ReadWriteMany resources: requests: storage: 2Gi [root@master ~]# kubectl apply -f pvc.yml [root@master ~]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE pvc1 Bound pvc-affe7efc-21fe-11e9-9d1f-000c2987cf81 2Gi RWX glusterfs 19s
posted on 2019-01-27 15:03 LinuxPanda 阅读(4752) 评论(3) 编辑 收藏 举报
