在K8S中，在服务上线的时候Pod起不来怎么进行排查？

服务上线时Pod起不来是一个非常紧急且常见的问题。这时候需要一个快速、系统化的排查流程。以下是一个高效的问题排查指南，按照优先级顺序进行：

🚨 紧急排查流程图

graph TD A[Pod启动失败] --> B[第一步：快速状态检查<br>kubectl get pods] B --> C{分析Pod状态} C --> D[Pending] C --> E[ImagePullBackOff/ErrImagePull] C --> F[CrashLoopBackOff] C --> G[ContainerCreating<br>长时间卡住] D --> H[资源调度问题] E --> I[镜像拉取问题] F --> J[容器启动问题] G --> K[存储/配置问题] H --> L[检查资源配额、节点状态] I --> M[检查镜像地址、仓库认证] J --> N[查看容器日志] K --> O[检查PVC、ConfigMap] L & M & N & O --> P[第二步：详细诊断<br>kubectl describe pod] P --> Q[第三步：深入排查<br>根据错误信息针对性检查]

🔍 详细排查步骤

第一步：快速状态检查（30秒内完成）

# 1. 查看Pod基本状态
kubectl get pods -o wide
kubectl get pods --watch    # 实时观察状态变化

# 2. 如果有多个Pod，筛选出有问题的
kubectl get pods --field-selector=status.phase!=Running

重点关注STATUS列：

• Pending → 调度问题
• ImagePullBackOff/ErrImagePull → 镜像问题
• CrashLoopBackOff → 容器启动后崩溃
• ContainerCreating（长时间） → 存储/配置问题

第二步：详细诊断（1-2分钟）

根据第一步的状态，使用describe命令获取详细信息：

# 查看Pod的详细事件和配置
kubectl describe pod <pod-name>

# 如果有多个容器，查看特定容器
kubectl describe pod <pod-name> | grep -A 20 -B 5 "Events"

重点查看Events部分，这里会告诉你根本原因。

第三步：根据具体状态深入排查

情况1：Pending（调度问题）

# 检查资源配额
kubectl describe resourcequota -n <namespace>

# 检查节点资源
kubectl top nodes
kubectl describe nodes

# 检查节点调度条件
kubectl get nodes -o wide

常见原因：

• 资源不足（CPU、内存）
• 节点有污点（taint）但Pod无对应容忍（toleration）
• 节点选择器（nodeSelector）不匹配
• 资源配额（ResourceQuota）用尽

情况2：ImagePullBackOff/ErrImagePull（镜像问题）

# 查看详细错误信息
kubectl describe pod <pod-name> | grep -i "error\|fail"

# 检查镜像地址是否正确
kubectl get pod <pod-name> -o yaml | grep image:

# 尝试手动拉取镜像（在节点上执行）
docker pull <image-name:tag>

常见原因：

• 镜像标签错误或不存在
• 私有仓库认证失败
• 网络问题无法访问仓库
• 镜像架构与节点不匹配

情况3：CrashLoopBackOff（容器启动崩溃）

# 查看容器日志（最重要的信息！）
kubectl logs <pod-name>
kubectl logs <pod-name> --previous    # 上一次的日志

# 如果Pod有多个容器
kubectl logs <pod-name> -c <container-name>

# 实时查看日志
kubectl logs <pod-name> -f

常见原因：

• 应用配置错误（环境变量、配置文件）
• 依赖服务不可用（数据库、Redis等）
• 启动脚本错误
• 权限问题（文件系统权限、Linux能力）

情况4：ContainerCreating（长时间卡住）

# 检查存储卷状态
kubectl get pvc -n <namespace>
kubectl describe pvc <pvc-name>

# 检查ConfigMap/Secret是否存在
kubectl get configmaps,secrets -n <namespace>

# 检查存储类（StorageClass）
kubectl get storageclass

常见原因：

• PVC无法绑定（存储类问题、容量不足）
• ConfigMap或Secret不存在
• 容器网络插件问题

第四步：环境依赖检查

如果应用依赖外部服务，需要检查：

# 检查Service是否正常
kubectl get services -n <namespace>

# 检查Endpoints是否就绪
kubectl get endpoints <service-name>

# 检查DNS解析（在Pod内执行）
kubectl exec -it <pod-name> -- nslookup <service-name>
kubectl exec -it <pod-name> -- ping <dependent-service>

# 检查网络连通性
kubectl exec -it <pod-name> -- curl -v http://dependent-service:port

第五步：快速应急措施

如果问题紧急，先恢复服务：

# 1. 回滚到上一个版本（如果使用Deployment）
kubectl rollout undo deployment/<deployment-name>

# 2. 扩容旧版本Pod（如果有旧版本运行）
kubectl scale deployment/<old-deployment> --replicas=3

# 3. 临时调整资源限制（如果是资源问题）
kubectl patch deployment <deployment-name> -p '{"spec":{"template":{"spec":{"containers":[{"name":"app","resources":{"limits":{"cpu":"500m","memory":"512Mi"}}}]}}}}'

📋 上线前检查清单（预防措施）

为了避免上线时出现问题，建议建立检查清单：

# 1. 预拉取镜像
docker pull <new-image:tag>

# 2. 语法验证
kubectl apply --dry-run=client -f deployment.yaml
kubectl validate -f deployment.yaml

# 3. 在测试环境验证
kubectl diff -f deployment.yaml  # 查看与当前版本的差异

# 4. 使用就绪探针和滚动更新策略
# 在Deployment中配置：
# readinessProbe:
#   httpGet:
#     path: /health
#     port: 8080
#   initialDelaySeconds: 10
#   periodSeconds: 5

# 5. 设置合理的资源请求和限制

🎯 关键排查技巧

1. 从外到内：先看Pod状态，再看Events，最后看日志
2. 时间顺序：关注Events中的时间线，找到第一个错误
3. 对比法：与正常运行的Pod配置进行对比
4. 隔离法：简化部署配置，排除非核心因素

记住：90%的问题可以通过kubectl describe pod和kubectl logs解决。保持冷静，按步骤排查，你一定能快速定位问题！