Kubernetes 调度失败问题深度解析：资源不足、污点与抢占机制

个人名片

🎓作者简介：java领域优质创作者
🌐个人主页：码农阿豪
📞工作室：新空间代码工作室（提供各种软件服务)
💌个人邮箱：[2435024119@qq.com]
📱个人微信：15279484656
🌐个人导航网站：www.forff.top
💡座右铭：总有人要赢。为什么不能是我呢？

• 专栏导航：

码农阿豪系列专栏导航
面试专栏：收集了java相关高频面试题，面试实战总结🍻🎉🖥️
Spring5系列专栏：整理了Spring5重要知识点与实战演练，有案例可直接使用🚀🔧💻
Redis专栏：Redis从零到一学习分享，经验总结，案例实战💐📝💡
全栈系列专栏：海纳百川有容乃大，可能你想要的东西里面都有🤸🌱🚀

目录

• **Kubernetes 调度失败问题深度解析：资源不足、污点与抢占机制**
• • **引言**
  • 1. 问题背景
  • 2. 资源不足（Insufficient CPU/Memory）
  • • 2.1 原因分析
    • 2.2 检查节点资源
    • 2.3 解决方案
    • • （1）扩容节点
      • （2）调整 Pod 资源请求
      • （3）清理无用 Pod
  • 3. 污点（Taint）与容忍（Toleration）
  • • 3.1 污点（Taint）的作用
    • 3.2 检查节点污点
    • 3.3 解决方案
    • • （1）为 Pod 添加容忍（Toleration）
      • （2）移除污点（需管理员权限）
  • 4. 抢占（Preemption）机制失败
  • • 4.1 抢占机制的作用
    • 4.2 检查 PriorityClass
    • 4.3 解决方案
    • • （1）提高 Pod 优先级
      • （2）调整低优先级 Pod
  • 5. 其他可能原因
  • • 5.1 节点选择器（NodeSelector）或亲和性（Affinity）
    • 5.2 节点状态异常
  • 6. 完整排查流程
  • 7. 总结
  • 8. 附录：常用命令速查

Kubernetes 调度失败问题深度解析：资源不足、污点与抢占机制

引言

在 Kubernetes 集群中，Pod 调度失败是常见问题之一。当出现类似 0/5 nodes are available: 2 Insufficient cpu, 2 Insufficient memory, 3 node(s) had untolerated taint... 的错误时，我们需要从 资源分配、污点（Taint）与容忍（Toleration）、抢占（Preemption）机制 等多个维度进行分析。本文将详细解析这类问题的成因，并提供完整的解决方案，同时结合代码示例帮助读者深入理解。

---

1. 问题背景

在 Kubernetes 中，调度器（Scheduler）负责将 Pod 分配到合适的节点上运行。当 Pod 无法调度时，通常会返回类似如下的错误：

0/5 nodes are available: 
2 Insufficient cpu, 
2 Insufficient memory, 
3 node(s) had untolerated taint {vci.vke.volcengine.com/node-type: vci}. 
preemption: 0/5 nodes are available: 
2 No preemption victims found for incoming pod, 
3 Preemption is not helpful for scheduling.

这个错误信息告诉我们：

1. 2 个节点 CPU 不足
2. 2 个节点内存不足
3. 3 个节点存在未容忍的污点
4. 抢占机制无法找到合适的节点

接下来，我们将逐一分析这些问题的原因和解决方案。

---

2. 资源不足（Insufficient CPU/Memory）

2.1 原因分析

Kubernetes 调度器在分配 Pod 时，会检查节点的 可分配资源（Allocatable Resources） 是否满足 Pod 的 requests 需求。如果节点资源不足，Pod 就无法调度。

2.2 检查节点资源

我们可以使用以下命令查看节点资源使用情况：

kubectl top nodes

输出示例：

NAME       CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
node-1     500m         50%    2Gi            40%
node-2     800m         80%    3Gi            60%

如果发现某些节点的 CPU 或内存使用率接近 100%，说明资源紧张。

2.3 解决方案

（1）扩容节点

• 手动扩容：增加新的节点到集群。
• 自动扩缩（Cluster Autoscaler）：如果集群支持自动扩缩，确保其正常运行。

（2）调整 Pod 资源请求

在 Pod 的 YAML 中，可以调整 requests 以减少资源占用：

resources:
  requests:
    cpu: "500m"  # 0.5 核
    memory: "1Gi" # 1GB 内存

但要注意，requests 不能设置过低，否则可能导致 Pod 因资源不足被 OOMKilled。

（3）清理无用 Pod

删除不再需要的 Pod 或 Deployment：

kubectl delete pod <pod-name>
kubectl delete deployment <deployment-name>

---

3. 污点（Taint）与容忍（Toleration）

3.1 污点（Taint）的作用

污点是 Kubernetes 的一种机制，用于 限制 Pod 调度到某些节点。例如：

• 专用 GPU 节点只允许运行 AI 训练任务。
• 某些节点标记为“维护模式”，不允许新 Pod 调度。

3.2 检查节点污点

运行以下命令查看节点污点：

kubectl describe node <node-name>

输出示例：

Taints: vci.vke.volcengine.com/node-type=vci:NoSchedule

这表明该节点有一个污点 vci.vke.volcengine.com/node-type=vci，并且效果是 NoSchedule（不允许新 Pod 调度）。

3.3 解决方案

（1）为 Pod 添加容忍（Toleration）

在 Pod 的 YAML 中添加 tolerations：

tolerations:
- key: "vci.vke.volcengine.com/node-type"
  operator: "Equal"
  value: "vci"
  effect: "NoSchedule"

这样 Pod 就可以调度到带有该污点的节点。

（2）移除污点（需管理员权限）

如果确定该污点不再需要，可以移除：

kubectl taint nodes <node-name> vci.vke.volcengine.com/node-type:NoSchedule-

---

4. 抢占（Preemption）机制失败

4.1 抢占机制的作用

Kubernetes 允许 高优先级 Pod 抢占低优先级 Pod 的资源，以便完成调度。但如果：

• 没有低优先级 Pod 可抢占（No preemption victims found）。
• 即使抢占也无法满足资源需求（Preemption is not helpful）。

4.2 检查 PriorityClass

查看集群中的优先级类：

kubectl get priorityclass

示例输出：

NAME                      VALUE
high-priority             1000000
low-priority              100

4.3 解决方案

（1）提高 Pod 优先级

在 Pod 的 YAML 中指定更高的 PriorityClass：

apiVersion: v1
kind: Pod
metadata:
  name: high-priority-pod
spec:
  priorityClassName: high-priority
  containers:
  - name: nginx
    image: nginx

（2）调整低优先级 Pod

如果某些低优先级 Pod 占用了资源，可以手动删除或调整其优先级：

kubectl delete pod <low-priority-pod>

---

5. 其他可能原因

5.1 节点选择器（NodeSelector）或亲和性（Affinity）

如果 Pod 配置了 nodeSelector 或 affinity，但没有任何节点匹配，也会导致调度失败：

spec:
  nodeSelector:
    gpu: "true"

检查节点标签：

kubectl get nodes --show-labels

5.2 节点状态异常

确保所有节点处于 Ready 状态：

kubectl get nodes

如果节点状态异常（如 NotReady），需要排查节点问题（如 kubelet 是否正常运行）。

---

6. 完整排查流程

1. 检查节点资源：

   kubectl top nodes
   kubectl describe nodes
   

2. 检查污点：

   kubectl describe node <node-name>
   

3. 检查优先级和抢占：

   kubectl get priorityclass
   kubectl get pods --sort-by='.spec.priority'
   

4. 检查 Pod 配置：
   • kubectl describe pod <pod-name>
   • 查看 requests、tolerations、nodeSelector 等配置。

---

7. 总结

当 Kubernetes Pod 调度失败时，主要从以下几个方面排查：

1. 资源不足 → 扩容节点或调整 requests。
2. 污点未容忍 → 添加 tolerations 或移除污点。
3. 抢占失败 → 调整优先级或清理低优先级 Pod。
4. 其他因素 → 检查 nodeSelector、节点状态等。

通过合理的资源规划、污点管理和优先级设置，可以有效避免 Pod 调度失败问题，提高集群稳定性。

---

8. 附录：常用命令速查

命令	作用
kubectl top nodes	查看节点资源使用情况
kubectl describe node <node>	查看节点详情（包括污点）
kubectl taint nodes <node> key=value:NoSchedule-	移除污点
kubectl get priorityclass	查看优先级类
kubectl get pods --sort-by='.spec.priority'	按优先级查看 Pod

---

通过本文的分析，相信读者能够更好地理解和解决 Kubernetes 调度失败问题。如果有进一步的问题，欢迎在评论区讨论！ 🚀