第十二篇：云原生存储及存储进阶

 

动态存储

StorageClass官方文档：https://kubernetes.io/zh-cn/docs/concepts/storage/storage-classes/

StorageClass：存储类，由K8s管理员创建，用于动态管理PV，可以链接至不同的后端存储（Ceph、GlusterFS等）。
当应用（通过PVC）请求存储时，存储的请求会指向StorageClass，然后StorageClass会自动的创建、删除PV。
实现方式：
in-tree: 内置于K8s核心代码，对于存储的管理，都需要编写相应的代码。
out-of-tree：由存储厂商提供一个驱动（CSI），安装到K8s集群，然
后StorageClass只需要配置该驱动即可，驱动器会代替StorageClass管理存储。
CSI：Kubernetes的容器存储接口标准，为各种外部存储系统提供统一的插件化接入方式

 

云原生存储编排器Rook

Rook是云原生存储编排器，在Kubernetes与分布式存储系统（如Ceph）之间搭建桥梁，将存储系统转变为自动化管理的存储服务，让部署、配置、扩容、监控等操作完全自动化。它通过CSI支持PVC的快照、扩容、克隆等高级功能

Rook存储架构

• Rook模式：
  • Operator模式：用于自动化管理有状态服务或复杂应用的Kubernetes控制器模式（Ceph、Prometheus、MySQL、Elasticsearch）
  • Helm模式：主要用于部署和版本化管理无状态服务的Kubernetes包管理器（Nginx、Grafana、redis）
• Rook插件：
  • Agent：运行在每个节点上的守护进程，负责Kubernetes存储卷的实际挂载和格式化操作
  • Discover：自动检测存储节点上可用磁盘设备的发现服务
• Ceph插件：
  • Ceph OSD：直接管理物理磁盘的对象存储守护进程，负责数据存储和副本维护。
  • Ceph MON：维护整个集群状态和拓扑信息的监控器组件。
  • Ceph MDS：为CephFS文件系统提供元数据管理服务的服务器。
  • Ceph RGW：提供兼容S3和Swift接口的对象存储网关服务。
  • Ceph MGR：Ceph集群的管理器组件，负责提供集群监控、指标收集和模块化扩展功能的管理接口。

Rook安装注意事项

K8s集群至少五个节点，每个节点的内存不低于5G，CPU不低于2核

至少有三个存储节点，并且每个节点至少有一个裸盘

K8s集群所有的节点时间必须一致

  Rook安装部署

[root@k8s-master01 ceph]# kubectl describe node |grep Taint
Taints:             <none>
Taints:             <none>
Taints:             <none>
Taints:             <none>
Taints:             <none>

 

Rook安装

使用 Rook >1.3 版本创建集群时，使用挂载未格式化的裸盘，不要使用创建文件系统或目录

每个节点配置不能低于2核4G

k8s 1.19 以上版本，快照功能需要单独安装 snapshot 控制器

• 下载Rook安装文件

git clone --single-branch --branch v1.6.3 https://github.com/rook/rook.git

 

• 配置更改

cd rook/cluster/examples/kubernetes/ceph
vim operator.yaml

 

  # ROOK_CSI_CEPH_IMAGE: "quay.io/cephcsi/cephcsi:v3.3.1"
  # ROOK_CSI_REGISTRAR_IMAGE: "k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1"
  # ROOK_CSI_RESIZER_IMAGE: "k8s.gcr.io/sig-storage/csi-resizer:v1.0.1"
  # ROOK_CSI_PROVISIONER_IMAGE: "k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4"
  # ROOK_CSI_SNAPSHOTTER_IMAGE: "k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0"
  # ROOK_CSI_ATTACHER_IMAGE: "k8s.gcr.io/sig-storage/csi-attacher:v3.0.2"
  ROOK_CSI_CEPH_IMAGE: "quay.io/cephcsi/cephcsi:v3.3.1"
  ROOK_CSI_REGISTRAR_IMAGE: "crpi-dluio7wrsqcvaggn.cn-hangzhou.personal.cr.aliyuncs.com/yuanxiaojiang/csi-node-driver-registrar:v2.0.1"
  ROOK_CSI_RESIZER_IMAGE: "crpi-dluio7wrsqcvaggn.cn-hangzhou.personal.cr.aliyuncs.com/yuanxiaojiang/csi-resizer:v1.0.1"
  ROOK_CSI_PROVISIONER_IMAGE: "crpi-dluio7wrsqcvaggn.cn-hangzhou.personal.cr.aliyuncs.com/yuanxiaojiang/csi-provisioner:v2.0.4"
  ROOK_CSI_SNAPSHOTTER_IMAGE: "crpi-dluio7wrsqcvaggn.cn-hangzhou.personal.cr.aliyuncs.com/yuanxiaojiang/csi-snapshotter:v4.0.0"
  ROOK_CSI_ATTACHER_IMAGE: "crpi-dluio7wrsqcvaggn.cn-hangzhou.personal.cr.aliyuncs.com/yuanxiaojiang/csi-attacher:v3.0.2"

 

如果是其他版本，需要自行同步，同步方法可以在网上找到相关文章。可以参考

https://blog.csdn.net/sinat_35543900/article/details/103290782

还 是 operator 文 件 ， 新 版 本 rook 默 认 关 闭 了 自 动 发 现 容 器 的 部 署 ， 可 以 找 到

ROOK_ENABLE_DISCOVERY_DAEMON 改成 true 即可：

  # ROOK_ENABLE_DISCOVERY_DAEMON: "false"
  ROOK_ENABLE_DISCOVERY_DAEMON: "true"

 

部署rook