k8s孤儿卷的问题

k8s有时会遇到 Pod 状态一直处理 Terminating。Pod 一直没有正常退出,一般情况会使用命令 kubectl delete pods pod-name --force --grace-period=0 强制删除。
如果按照上面命令强制删除Pod,有一定概率会报 Orphaned pod found - but volume paths are still present on disk 错误。此问题可能会导致宿主节点 notready

解决办法

删除相应的pod id的kubelet文件夹
rm -rf  /var/lib/kubelet/pods/356a8df1-0b4e-11e9-8afe-fa163e75de2b
保险起见,先将目录直接mv走
mv /var/lib/kubelet/pods/356a8df1-0b4e-11e9-8afe-fa163e75de2b /tmp/var/lib/kubelet/pods/356a8df1-0b4e-11e9-8afe-fa163e75de2b

查看kubelet日志时候,可以看到一些如下error

在/var/lib/kubelet/pods/ 下的pod文件夹中查看 pod volume, 可看到这些孤儿卷(即pod已经不存在此节点,但是卷信息还在)

查看某个pod路径下的文件,可以看到volume还存在 为删除的csi

集群已经不存在此pvc

参考:
https://github.com/kubernetes/kubernetes/issues/60987
https://xigang.github.io/2018/12/31/Orphaned-pod/

posted @ 2021-07-06 15:11  nineep  阅读(60)  评论(0编辑  收藏  举报