Pod重启策略

Kubernetes Pod重启策略详解：生产环境必备指南

在Kubernetes集群运维中，掌握Pod的重启策略是保障业务稳定性的关键技能。本文深度解析生产环境中Pod重启机制的正确使用姿势，附带实战经验和避坑指南。

---

一、Pod重启策略三剑客

每个Pod的restartPolicy字段控制容器退出时的行为，可选策略如下：

1. Always（默认策略）

   • 行为：容器无论正常/异常退出（包括退出码0和非0）都会自动重启
   • 适用场景：需要7×24小时持续运行的服务（如Web服务、数据库）
   • 生产注意：慎用于Job/CronJob控制器，可能导致任务无限重启

2. OnFailure

   • 行为：仅当容器异常退出（非0状态码）时重启
   • 适用场景：批处理任务、定时作业等需要失败重试的场景
   • 典型案例：数据库迁移脚本失败后自动重试3次

3. Never

   • 行为：任何情况都不重启容器
   • 适用场景：一次性执行任务（如数据导出、测试任务）
   • 避坑指南：搭配Job控制器使用时可设置.spec.backoffLimit控制重试次数

# 生产示例：Job配合OnFailure策略
apiVersion: batch/v1
kind: Job
metadata:
  name: data-processor
spec:
  template:
    spec:
      restartPolicy: OnFailure  # 必须显式声明
      containers:
      - name: processor
        image: data-processor:v1.2

---

二、智能重启机制揭秘

Kubernetes采用指数退避算法控制重启频率：

• 首次重启：立即重启
• 第二次重启：等待10秒
• 第三次重启：等待20秒
• 后续每次翻倍，上限5分钟
• 连续运行10分钟后重置计时器

生产监控技巧：

watch -n 5 "kubectl get pods -o wide | awk '{print \$1,\$4}' | column -t"
# 重点关注RESTARTS列异常增长的情况

---

三、手动重启的正确姿势

1. 优雅滚动重启（生产推荐）

   # Deployment重启
   kubectl rollout restart deployment/web-server -n production
   
   # StatefulSet重启
   kubectl rollout restart statefulset/redis-cluster -n database
   

   • 优势：逐个替换Pod，确保服务零中断
   • 适用：配置更新、证书刷新等场景

2. 精准删除重建

   kubectl delete pod/web-server-7d98f65bc8-kj4xl --grace-period=300
   

   • 注意：确保有足够副本维持服务可用性
   • 适用：单Pod调试场景

3. 配置触发重启（高阶技巧）

   # 通过环境变量变更触发重启
   kubectl set env deployment/web-server DEPLOY_TIMESTAMP=$(date +%s)
   
   # 通过Annotation标记触发（需配合控制器）
   kubectl annotate deployment/web-server force-restart=$(date +%s)
   

---

四、生产环境黄金法则

1. 策略匹配原则

   • Deployment/DaemonSet → Always
   • Job/CronJob → OnFailure/Never
   • StatefulSet → 根据业务需求选择

2. 健康检查三板斧

   livenessProbe:
     httpGet:
       path: /healthz
       port: 8080
     initialDelaySeconds: 30  # 留给应用启动时间
     periodSeconds: 10
   
   readinessProbe:
     tcpSocket:
       port: 3306
     timeoutSeconds: 2
   

   • 存活探针：决定是否重启Pod
   • 就绪探针：控制流量接入
   • 启动探针：保护慢启动应用

3. 监控告警配置

   • 关键指标：
     • kube_pod_container_status_restarts_total
     • kube_pod_status_ready
   • Prometheus告警规则示例：

     - alert: PodFrequentRestart
       expr: rate(kube_pod_container_status_restarts_total[5m]) > 0.5
       for: 10m
     

---

五、经典排障场景

案例1：OOM导致的频繁重启

• 现象：Pod每小时重启3-4次
• 排查：
  1. kubectl describe pod 查看Exit Code
  2. 确认是否为137（内存溢出）
  3. 调整资源限制：

     resources:
       limits:
         memory: "2Gi"
       requests:
         memory: "1.5Gi"
     

案例2：文件描述符耗尽

• 现象：Pod每天固定时间重启
• 解决方案：

   securityContext:
     sysctls:
     - name: fs.file-max
       value: "1000000"
  

---

六、终极实践建议

1. 版本控制：Kubernetes 1.21+ 推荐使用Always+探针组合
2. 资源分配：确保requests/limits合理设置，避免资源竞争
3. 版本更新：定期执行滚动更新清理旧Pod
4. 灾难恢复：为关键服务设置PDB（PodDisruptionBudget）

   apiVersion: policy/v1
   kind: PodDisruptionBudget
   metadata:
     name: web-pdb
   spec:
     minAvailable: 2
     selector:
       matchLabels:
         app: web-server
   

掌握这些核心要点，您已具备处理生产环境Pod重启问题的专业能力。记住：合理的重启策略是业务稳定的基石，而谨慎的操作则是生产环境的护城河。