[对象存储/K8s容器] 基于对象存储构建Docker/K8s容器的标准存储卷(Volume)

0 序

• Docker 和 K8s 都可以将对象存储（OSS/S3）作为标准存储卷（Volume）使用，核心是通过 FUSE 挂载（如 ossfs/s3fs） 或 CSI 驱动 实现 POSIX 兼容的文件系统访问。

一 Docker 挂载 OSS 卷

1. 原理

基于 ossfs / s3fs-fuse（FUSE 用户态文件系统），把 OSS Bucket 映射为本地目录，再以 Docker Volume 形式挂载到容器。

2. 挂载方式

方式（1）直接挂载（宿主机先挂）

# 1. 安装 ossfs
sudo yum install -y ossfs

# 2. 配置密钥
echo "bucket-name accessKeyId:accessKeySecret" > /etc/passwd-ossfs
chmod 600 /etc/passwd-ossfs

# 3. 挂载到宿主机
mkdir -p /mnt/oss
ossfs bucket-name /mnt/oss -o url=oss-cn-xxx-internal.aliyuncs.com

# 4. Docker 容器挂载
docker run -v /mnt/oss:/data --name myapp myimage

方式（2）Docker Volume 插件（推荐）

使用官方/第三方 OSS 卷插件（如阿里云 OSSFS 插件、docker-volume-s3fs）：

# 安装插件（以阿里云为例）
docker plugin install --grant-all-permissions alibaba/ossfs

# 创建 OSS 卷
docker volume create \
  -d alibaba/ossfs \
  -o bucket=my-bucket \
  -o ak_id=xxx \
  -o ak_secret=xxx \
  -o url=oss-cn-xxx-internal.aliyuncs.com \
  oss-volume

# 容器使用
docker run -v oss-volume:/data myapp

3. Docker 特点

• 单机可用、配置简单
• 支持 ReadWriteMany（多容器共享）
• 性能一般（适合归档、静态资源、非高频读写）

二 K8s 挂载 OSS 卷（主流方案）

1. 主流方案：CSI 驱动（推荐）

阿里云 ACK / 自建 K8s 用 Alibaba Cloud CSI Driver（OSS 插件）：

• 支持 静态 PV / 动态 PV（StorageClass）
• 支持 ossfs 2.0（性能大幅提升，顺序读写优化）
• 支持 RWX / ROX 访问模式

（1）步骤

1. 安装 CSI 插件（ACK 可在组件中心一键开启）
2. 创建 Secret 存 AK

kubectl create secret generic oss-secret \
  --from-literal=akId=xxx \
  --from-literal=akSecret=xxx \
  --type=alicloud/oss

3. 创建 PV/PVC（静态）

apiVersion: v1
kind: PersistentVolume
metadata:
  name: oss-pv
spec:
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteMany
  csi:
    driver: ossplugin.csi.alibabacloud.com
    volumeHandle: my-bucket
    volumeAttributes:
      bucket: "my-bucket"
      url: "oss-cn-xxx-internal.aliyuncs.com"
      otherOpts: "-o allow_other"
    nodePublishSecretRef:
      name: oss-secret
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: oss-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi
  volumeName: oss-pv

4. Pod 挂载

volumeMounts:
- name: oss-data
  mountPath: /data
volumes:
- name: oss-data
  persistentVolumeClaim:
    claimName: oss-pvc

2. 旧方案：FlexVolume

早期 K8s 用 FlexVolume（alicloud/oss），现已逐步被 CSI 替代。

3. K8s 特点

• 集群级统一管理、支持动态供给
• 大数据场景常用：Flink 日志、Spark 临时数据、模型文件、归档存储
• 注意：不适合低延迟随机读写（如数据库、HDFS 元数据）

三 大数据开发要点

1. 适用场景 ✅

• 归档数据、日志、备份
• 静态资源、模型文件、机器学习数据集
• 非核心的共享存储（多 Pod 共享）

2. 不适用场景 ❌

• HDFS 元数据、数据库数据文件（随机 IO 差）
• Flink/Spark 实时计算的状态数据（低延迟要求）
• 大量小文件随机读写（性能差）

3. 性能与优化

• 优先用 内网 Endpoint（-internal）
• 使用 ossfs 2.0（大文件、顺序读写快）
• 开启 kernel_cache、max_background_threads
• 大数据任务：先写本地盘 → 批量同步 OSS

4. 权限与安全

• 用 RAM 子账号 AK，最小权限
• K8s 用 Secret 存储凭证，不硬编码
• 开启 SSL、bucket 授权、IP 白名单

四 总结（一句话）

Docker/K8s 完全支持 OSS 作为存储卷：Docker 用 Volume 插件/ossfs 单机挂载；K8s 用 CSI OSS 驱动 实现集群级 PV/PVC，支持 RWX，适合大数据归档、日志、共享文件场景，但不适合低延迟随机读写。

X 参考文献