k8s的存储痛点

本地存储（Local Volume）在大规模微服务集群中确实不推荐作为主要方案，尤其是动态管理宿主机目录会带来极高的运维复杂度。方案分析：

---

1. 本地存储（Local Volume）的生产环境局限性

问题	具体表现
节点亲和性硬绑定	Pod 必须与 PV 同节点，限制调度灵活性
目录管理繁琐	需提前在所有节点创建目录，扩容/维护成本高
数据可靠性风险	节点故障导致数据永久丢失
扩展性差	难以应对集群节点动态扩缩容的场景

---

2. 生产级替代方案对比

方案 1：分布式文件存储（如 CephFS）

# CephFS 示例（动态供给）
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: cephfs-sc
provisioner: rook-ceph.cephfs.csi.ceph.com  # 使用 Ceph CSI Driver
parameters:
  clusterID: rook-ceph
  fsName: myfs
  pool: myfs-data0
reclaimPolicy: Delete
volumeBindingMode: Immediate

优势：

• 完全动态管理：无需手动干预宿主机
• 跨节点共享：多个 Pod 可同时读写（ReadWriteMany）
• 高可用：数据自动多副本存储，节点故障无影响
• 弹性扩展：存储容量随集群动态增长

适用场景：

• 需要共享存储的微服务（如配置文件、日志集中收集）
• 有状态应用的持久化数据（如 MySQL 的备份存储）

方案 2：块存储（如 Ceph RBD/Rook）

# Rook Ceph Block 示例
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: rook-ceph-block
provisioner: rook-ceph.rbd.csi.ceph.com
parameters:
  clusterID: rook-ceph
  pool: replicapool
  imageFormat: "2"
  imageFeatures: layering
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer  # 延迟绑定优化调度

优势：

• 高性能：适合数据库等低延迟场景
• 独占访问（ReadWriteOnce）保障数据一致性
• 仍具备分布式存储的可靠性

方案 3：云原生存储（如 Longhorn）

# Longhorn 示例（轻量级分布式块存储）
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: longhorn
provisioner: driver.longhorn.io
allowVolumeExpansion: true
parameters:
  numberOfReplicas: "3"
  staleReplicaTimeout: "30"

优势：

• 简单易部署：单节点也可运行
• 内置容灾：自动数据复制和故障转移
• 支持卷快照/克隆

---

3. 生产环境选型决策树

graph TD A[需要共享存储?] -->|Yes| B[CephFS/NFS] A -->|No| C{需要高性能?} C -->|Yes| D[Ceph RBD/Longhorn] C -->|No| E[云厂商块存储] D --> F[是否在公有云?] F -->|Yes| G[AWS EBS/GCE PD] F -->|No| H[自建Ceph/Rook]

---

4. 实施建议

1. 中小规模集群：

   • 优先选择 Longhorn（易管理）或 云厂商存储（如 AWS EBS）
   • 示例成本：Longhorn 3副本约占用节点15%内存，适合10-50节点集群

2. 大规模集群：

   • 必选 Ceph/Rook（100+节点级扩展性）
   • 性能调优：SSD OSD + 万兆网络，可达 10K+ IOPS

3. 混合云场景：

   • 使用 Kubernetes CSI 多驱动（如同时配置 CephFS 和 AWS EBS）
   • 通过 StorageClass 按需选择

---

5. 迁移路径示例（从本地卷到 CephFS）

# 1. 部署 Rook Ceph 集群
kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/deploy/examples/crds.yaml
kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/deploy/examples/operator.yaml
kubectl apply -f https://raw.githubusercontent.com/rook/rook/master/deploy/examples/cluster.yaml

# 2. 创建 CephFS StorageClass（如前面示例）

# 3. 修改应用配置，将 PVC 的 storageClassName 改为 cephfs-sc
# 4. 使用 Velero 或手动 rsync 迁移数据

---

关键结论

• 绝对避免在生产环境大规模使用本地卷动态供给
• CephFS 是最佳通用选择，平衡了性能、可靠性和管理成本
• 云环境下可结合托管存储服务（如 AWS EFS + EBS 混合使用）