k8s-pv/pvc

默认情况下容器中的磁盘文件是非持久化的，对于运行在容器中的应用来说面临两个问题，
第一：当容器挂掉kubelet将重启启动它时，文件将会丢失；
第二：当Pod中同时运行多个容器，容器之间需要共享文件时，Kubernetes的Volume解决了这两个问题。


PV/PVC
PersistentVolume（PV持久卷）是集群中已由管理员配置的一段网络存储，集群中的存储资源就像一个node节点是一个集群
资源，PV是诸如卷之类的卷插件，但是具有独立于使用PV的任何单个pod的生命周期， 该API对象捕获存储的实现细节，
即NFS，iSCSI或云提供商特定的存储系统，PV是由管理员添加的的一个存储的描述，是一个全局资源即不隶属于任何
namespace，包含存储的类型，存储的大小和访问模式等，它的生命周期独立于Pod，例如当使用它的Pod销毁时对PV没
有影响。

PersistentVolumeClaim（PVC持久卷声明）是用户存储的请求。它与 Pod 相似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod 可以请求特定级别的
资源（CPU 和内存）。PVC可以请求特定的大小和访问模式（例如，可以以读/写一次或 只读多次模式挂载）。



kubernetes 从1.0版本开始支持PersistentVolume和PersistentVolumeClaim。
PV/PVC实现pod和storage的解耦，这样我们修改storage的时候不需要修改pod，也可以实现存储和应用权限的隔离
PV是对底层网络存储的抽象，即将网络存储定义为一种存储资源，将一个整体的存储资源拆分成多份后给不同的业务使用。
PVC是对PV资源的申请调用，就像POD消费node节点资源一样,pod是通过PVC将数据保存至PV，PV在保存至存储。
pv没有namespace概念，属于全局性的,pvc则有namespace概念
删除pvc的时候需要先把正在使用pvc的deploy或者pod删掉或吧使用的pvc删掉，要不然会一直显示delete不动
删除pvc之后k8s会创建一个回收的pod----根据pv的回收策略回收，回收完了之后，pv的状态就会变成可被绑定的状态，也就是空闲状态，其他的pvc匹配到这个pv就会和这个pv绑定



创建pvc之后一直绑定不上pv
    1.pvc的空间申请大小大于pv的大小
    2.pvc的storageclassName没有和pv的一致
    3.pvc的accessModes和pv的不一致
 
创建挂载pvc之后一直处于pending状态
    1.pvc没有创建成功或者被创建
    2.pvc和pod不在同一个anmespace
 





PersistentVolume参数：
Capacity：             #当前PV空间大小，kubectl explain PersistentVolume.spec.capacity
accessModes ：        #访问模式，  kubectl explain PersistentVolume.spec.accessModes
    ReadWriteOnce   #PV只能被单个节点以读写权限挂载，RWO
    ReadOnlyMany    #PV以可以被多个节点挂载但是权限是只读的,ROX
    ReadWriteMany   #PV可以被多个节点是读写方式挂载使用,RWX
persistentVolumeReclaimPolicy #删除机制即删除存储卷卷时候，已经创建好的存储卷由以下删除操作：#kubectl explain PersistentVolume.spec.persistentVolumeReclaimPolicy
    Retain             #删除PV后保持原装，最后需要管理员手动删除
    Recycle         #空间回收，及删除存储卷上的所有数据(包括目录和隐藏文件),目前仅支持NFS和hostPath
    Delete          #自动删除存储卷
volumeMode          #卷类型，kubectl explain PersistentVolume.spec.volumeMode定义存储卷使用的文件系统是块设备还是文件系统，默认为文件系统
mountOptions        #附加的挂载选项列表，实现更精细的权限控制 如：ro 


示例：
apiVersion: v1
kind: PersistentVolume          #定义kind类型为PV
metadata:
  name: zookeeper-datadir-pv-1　
  namespace: magedu              #pv没有namespace概念，属于全局性的，此参数可以不设置。
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce 
  nfs:                            #NFS服务器
    server: 172.31.1.103
    path: /data/k8sdata/magedu/zookeeper-datadir-1 




PersistentVolumeClaim创建参数：
accessModes ：        #PVC 访问模式，#kubectl explain PersistentVolumeClaim.spec.volumeMode
    ReadWriteOnce   #PVC只能被单个节点以读写权限挂载，RWO
    ReadOnlyMany    #PVC以可以被多个节点挂载但是权限是只读的,ROX
    ReadWriteMany   #PVC可以被多个节点是读写方式挂载使用,RWX
resources：         #定义PVC创建存储卷的空间大小
volumeName             #要绑定的PV名称

volumeMode             #卷类型，定义PVC使用的文件系统是块设备还是文件系统，默认为文件系统
selector：             #标签选择器，选择要绑定的PV
matchLabels         #匹配标签名称
matchExpressions     #基于正则表达式匹配


示例：
apiVersion: v1
kind: PersistentVolumeClaim  #定义kind类型为PVC  
metadata:
  name: zookeeper-datadir-pvc-1         #定义PVC名称，容器调用使用。
  namespace: magedu
spec:
  accessModes:                          #访问模式，
    - ReadWriteOnce
  volumeName: zookeeper-datadir-pv-1      #调用PV名称。
  resources:                               #定义PVC创建存储卷的空间大小
    requests:
      storage: 10Gi                      #使用大小，要比PV的值小，如果容器已运行，不随意变更大小。






示例：
安装nfs服务器
[root@localhost7B ]# cat  /etc/exports
/data/k8sdata  *(rw,no_root_squash)

[root@localhost7B ]# mkdir /data/k8sdata/magedu/zookeeper-datadir-1 -p 
[root@localhost7B ]# mkdir /data/k8sdata/magedu/zookeeper-datadir-2 -p 
[root@localhost7B ]# mkdir /data/k8sdata/magedu/zookeeper-datadir-3 -p 

[root@localhost7B ]# systemctl  restart  nfs-server.service

#写数据测试
mount -t nfs 192.168.80.110:/data/k8sdata/magedu/zookeeper-datadir-1  /mnt
cp  /etc/passwd  /mnt
umount  /mnt/



#创建PV
[root@localhost7C pv]# cat persistentvolume.yaml 
---
apiVersion: v1
kind: PersistentVolume  
metadata:
  name: zookeeper-datadir-pv-1
  namespace: default          
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce 
  nfs:
    server: 192.168.80.110
    path: /data/k8sdata/magedu/zookeeper-datadir-1 

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: zookeeper-datadir-pv-2
  namespace: default
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  nfs:
    server: 192.168.80.110 
    path: /data/k8sdata/magedu/zookeeper-datadir-2 

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: zookeeper-datadir-pv-3
  namespace: default
spec:
  capacity:
    storage: 5Gi
  accessModes:
    - ReadWriteOnce
  nfs:
    server: 192.168.80.110  
    path: /data/k8sdata/magedu/zookeeper-datadir-3 

#创建PVC
[root@localhost7C pv]# cat persistentvolumeclaim.yaml 
apiVersion: v1
kind: PersistentVolumeClaim            #定义kind类型为PVC  
metadata:
  name: zookeeper-datadir-pvc-1
  namespace: default
spec:
  accessModes:                          #访问模式，
    - ReadWriteOnce
  volumeName: zookeeper-datadir-pv-1    #调用PV名称。
  resources:                               #定义PVC创建存储卷的空间大小
    requests:
      storage: 2Gi              #使用大小，要比PV的值小，如果容器已运行，不随意变更大小。
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: zookeeper-datadir-pvc-2
  namespace: default
spec:
  accessModes:
    - ReadWriteOnce
  volumeName: zookeeper-datadir-pv-2
  resources:
    requests:
      storage: 3Gi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: zookeeper-datadir-pvc-3
  namespace: default
spec:
  accessModes:
    - ReadWriteOnce
  volumeName: zookeeper-datadir-pv-3
  resources:
    requests:
      storage: 4Gi


#pod调用 
[root@localhost7C pv]# cat  nginx.yaml 
kind: Deployment
apiVersion: apps/v1
metadata:
  name: nginx1
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx-selector
  template:
    metadata:
      labels:
        app: nginx-selector
    spec:
      containers:
      - name: magedu-nginx-container
        image: harbor.zzhz.com/baseimage/nginx:latest
        #command: ["/apps/tomcat/bin/run_tomcat.sh"]
        #imagePullPolicy: IfNotPresent
        imagePullPolicy: Always
        ports:
        - containerPort: 80
          protocol: TCP
          name: http
        volumeMounts:
        - mountPath: "/zookeeper/data"          #pod挂载路径
          name: zookeeper-datadir-pvc-1            #调用volumes名称
      volumes:                                    #定义类型
        - name: zookeeper-datadir-pvc-1            #自定义名称
          persistentVolumeClaim:
            claimName: zookeeper-datadir-pvc-1   #调用PVC
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: magedu-nginx-service-label
  name: magedu-nginx-service
  namespace: default
spec:
  type: NodePort
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
    nodePort: 30080
  selector:
    app: nginx-selector



[root@localhost7C pv]# kubectl get persistentvolumes
NAME                     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                             STORAGECLASS   REASON   AGE
zookeeper-datadir-pv-1   5Gi        RWO            Retain           Bound    default/zookeeper-datadir-pvc-1                           15m
zookeeper-datadir-pv-2   5Gi        RWO            Retain           Bound    default/zookeeper-datadir-pvc-2                           16m
zookeeper-datadir-pv-3   5Gi        RWO            Retain           Bound    default/zookeeper-datadir-pvc-3                           16m

[root@localhost7C pv]# kubectl get persistentvolumeclaims 
NAME                      STATUS   VOLUME                   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
zookeeper-datadir-pvc-1   Bound    zookeeper-datadir-pv-1   5Gi        RWO                           16m
zookeeper-datadir-pvc-2   Bound    zookeeper-datadir-pv-2   5Gi        RWO                           16m
zookeeper-datadir-pvc-3   Bound    zookeeper-datadir-pv-3   5Gi        RWO                           16m

[root@localhost7C pv]# kubectl  describe  persistentvolume zookeeper-datadir-pv-1
Name:            zookeeper-datadir-pv-1
Labels:          <none>
Annotations:     kubectl.kubernetes.io/last-applied-configuration:
                   {"apiVersion":"v1","kind":"PersistentVolume","metadata":{"annotations":{},"name":"zookeeper-datadir-pv-1"},"spec":{"accessModes":["ReadWri...
                 pv.kubernetes.io/bound-by-controller: yes
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    
Status:          Bound
Claim:           default/zookeeper-datadir-pvc-1
Reclaim Policy:  Retain
Access Modes:    RWO
VolumeMode:      Filesystem
Capacity:        5Gi
Node Affinity:   <none>
Message:         
Source:
    Type:      NFS (an NFS mount that lasts the lifetime of a pod)
    Server:    192.168.80.110
    Path:      /data/k8sdata/magedu/zookeeper-datadir-1
    ReadOnly:  false
Events:        <none>

[root@localhost7C pv]# kubectl  describe  persistentvolumeclaims zookeeper-datadir-pvc-1
Name:          zookeeper-datadir-pvc-1
Namespace:     default
StorageClass:  
Status:        Bound
Volume:        zookeeper-datadir-pv-1
Labels:        <none>
Annotations:   kubectl.kubernetes.io/last-applied-configuration:
                 {"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"zookeeper-datadir-pvc-1","namespace":"default"},"sp...
               pv.kubernetes.io/bind-completed: yes
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      5Gi
Access Modes:  RWO
VolumeMode:    Filesystem
Mounted By:    nginx1-5b7d98d47c-58zjd
Events:        <none>


#测试
[root@localhost7C pv]# kubectl exec  -it  nginx1-5b7d98d47c-58zjd  bash
root@nginx1-5b7d98d47c-58zjd:/# df  -h
Filesystem                                               Size  Used Avail Use% Mounted on
overlay                                                   15G  5.0G   10G  34% /
tmpfs                                                     64M     0   64M   0% /dev
tmpfs                                                    982M     0  982M   0% /sys/fs/cgroup
/dev/mapper/centos-root                                   15G  5.0G   10G  34% /etc/hosts
192.168.80.110:/data/k8sdata/magedu/zookeeper-datadir-1   20G  9.2G   11G  46% /zookeeper/data
shm                                                       64M     0   64M   0% /dev/shm



[root@localhost7C pv]# kubectl exec  -it nginx1-5b7d98d47c-58zjd bash
root@nginx1-5b7d98d47c-58zjd:/# ls /zookeeper/data/       
passwd