调度器 Scheduler实战

Kubernetes调度器（Scheduler）实战指南：原理、优化与生产经验

作为Kubernetes集群的“智能调度大脑”，调度器（Scheduler）直接决定了Pod如何高效、稳定地分配到集群节点上。本文将深入解析调度器的工作原理，并结合生产环境中的实践经验，分享优化技巧和避坑指南。

---

一、调度器的核心作用

1. 资源分配器
   调度器根据Pod声明的CPU、内存等资源需求，结合节点的剩余资源量，选择最合适的节点运行Pod。
   生产技巧：合理设置Pod的requests/limits，避免资源争抢（如Java应用需预留堆内存）。

2. 规则执行者
   处理Pod的调度约束条件，例如：

   • 节点标签匹配：将Pod调度到带有disk=ssd标签的节点。
   • 亲和性/反亲和性：让Web服务分散在不同可用区（Zone），数据库与缓存服务就近部署。
   • 污点与容忍：专用GPU节点通过污点（Taint）限制普通Pod调度。

3. 集群优化器
   通过预选（Filtering）和优选（Scoring）策略，实现：

   • 负载均衡：避免节点资源利用率过高或过低。
   • 容错性：同一服务的Pod分散在不同节点/机柜。
   • 成本优化：优先使用廉价资源节点。

---

二、调度器的工作原理（两步筛选法）

1. 监听与触发
   Scheduler持续监听API Server的Pod事件，当发现Pending状态的Pod时触发调度。

2. 预选（Filtering）—— 海选淘汰
   检查所有节点是否满足Pod的硬性要求：

   • 资源是否足够：节点剩余CPU ≥ Pod的requests.cpu？
   • 条件是否匹配：节点标签、污点容忍、存储卷类型是否符合？
   • 其他硬限制：节点是否处于可调度状态（如NotReady）？

   生产案例：某GPU服务调度失败，发现原因是节点未打gpu=true标签，导致预选阶段被过滤。

3. 优选（Scoring）—— 打分排名
   对通过预选的节点进行评分（0-100分），默认策略包括：

   • 资源均衡：优先选择CPU/内存利用率较低的节点（LeastAllocated策略）。
   • 拓扑分布：同一服务的Pod尽量分散在不同节点（Spread策略）。
   • 用户自定义：根据业务需求添加权重（如优先使用某个机房）。

   生产技巧：通过kube-scheduler --policy-config-file自定义打分规则。

4. 绑定与执行
   选择分数最高的节点，向API Server提交绑定操作，节点上的kubelet接管Pod创建。

---

三、生产环境优化实战

1. 调度策略调优

   • Pod亲和性示例：

     affinity:
       podAntiAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
         - labelSelector:
             matchLabels:
               app: web-server
           topologyKey: kubernetes.io/hostname
     

     强制Web服务的Pod分散在不同节点（反亲和性）。

   • 资源碎片处理：
     小资源Pod导致节点资源碎片化？使用Descheduler定期重调度。

2. 高级调度技巧

   • 优先级与抢占：
     关键服务设置高优先级（PriorityClass），低优先级Pod可被驱逐。
   • 批量任务调度：
     使用Job+ttlSecondsAfterFinished自动清理，避免残留Pod影响调度。

3. 调度器性能调优

   • 增加并行度：调整--parallelism参数（默认16）。
   • 限制调度速度：避免短时大量Pod压垮API Server。

4. 问题排查命令

   • 查看调度失败原因：

     kubectl describe pod <pod-name> | grep Events
     

   • 检查节点资源详情：

     kubectl describe node <node-name>
     

---

四、自定义调度器：突破默认策略

如果默认调度器无法满足需求（如AI训练任务需特殊调度逻辑），可开发自定义调度器：

1. 方案选择

   • 扩展默认调度器：通过调度框架（Scheduling Framework）添加插件。
   • 独立调度器：完全自主实现，Pod中指定schedulerName: my-scheduler。

2. 开发案例
   某公司需实现“GPU卡粒度调度”：

   • 节点标注可用GPU卡ID（如gpu.card: "0,1"）。
   • 调度器检查GPU卡使用状态，绑定具体卡号到Pod环境变量。

---

五、避坑指南

1. 调度失败常见原因

   • 节点资源不足（Insufficient cpu/memory）。
   • 未匹配节点选择器（nodeSelector）。
   • 污点未设置容忍（Tolerations）。

2. 关键监控指标

   • scheduler_pending_pods：待调度Pod堆积情况。
   • scheduler_scheduling_duration_seconds：调度延迟。

---

结语

Kubernetes调度器是集群稳定性的基石，理解其原理并掌握调优技巧，是保障业务高效运行的关键。建议结合自身业务特点，逐步尝试自定义策略，并做好监控与异常告警。