KubeExplorer

摘要： 在 Kubernetes 上启动一个推理服务并不难。如果只有一个模型，vLLM + Deployment 确实够了。但服务多起来以后，模型从哪里加载、使用哪个 Runtime、GPU 怎么分配、服务怎么暴露，每个服务都要重复处理一遍，配置很快就会散落在一堆 YAML 里。KServe 解决的不是怎么 阅读全文

摘要： KubeClipper 1.7.0 发布了。 本次版本新增 API 驱动的 Operation v2，移除了旧的 NATS Operation 投递链路，集群创建、扩容、删除等操作统一使用新的 Operation v2。新增 kcctl status 和 kcctl doctor 平台诊断命令，新增 阅读全文

摘要： 上一篇我们用 Kueue + NVIDIA 原生 DRA 跑通了 GPU 整卡配额：Job 先进入队列，Kueue 判断配额够不够，够了再放行给调度器。 但整卡只是第一步。真实的 GPU 集群里，一张 GPU 往往不会只给一个 Pod 用，HAMi 可以继续按显存和算力切成 vGPU。问题也跟着来了 阅读全文

摘要： 前面两篇：Kubernetes 官方出品：一个 Controller 搞定 Job 排队和资源配额 和 终于搞懂 Kueue：5 个核心对象一次讲透 把 Kueue 的基本玩法和核心对象走了一遍，不过 Demo 都跑在 CPU 上。 真到 GPU 集群里，大家更关心的是另一个问题： Kueue 能不 阅读全文

摘要： 多个团队共用一个 Kubernetes 集群，A 团队提交了一批训练任务，几十张 GPU 很快就被占满；B 团队新提交的 Job 只能一直 Pending。 因为，而是 Kubernetes 原生采用"先到先得"的调度方式，没有 Job 队列，也没有多租户配额管理。 Kueue 正是 Kuberne 阅读全文

摘要： 很多人刚接触 Kueue 时最大的困惑，不是 YAML 怎么写，而是看着一堆 CRD：ResourceFlavor、ClusterQueue、LocalQueue、Cohort、Workload，不知道它们之间到底是什么关系。本文不会逐个照着 API 文档介绍字段，而是把这五个对象放到同一条资源准入 阅读全文

摘要： 前面两篇：Kubernetes 官方出品：一个 Controller 搞定 Job 排队和资源配额 和 终于搞懂 Kueue：5 个核心对象一次讲透 把 Kueue 的基本玩法和核心对象走了一遍，不过 Demo 都跑在 CPU 上。 真到 GPU 集群里，大家更关心的是另一个问题： Kueue 能不 阅读全文

摘要： OCI 规范建立的目的就是将容器镜像格式标准化，正如其名，OCI 镜像在之前一直用来跑容器，但现在它还能干更多事。 Kubernetes v1.36 里 ImageVolume 特性正式 GA 了，该特性允许我们把 OCI 镜像直接作为 Volume 挂载到 Pod 里。现在 OCI 镜像在 K8s 阅读全文

摘要： Buildah 是一个专注于构建 OCI 镜像的工具，Buildah CLI 工具使用底层 OCI 技术实现（例如 containers/image 和 containers/storage)。 OCI 三剑客包括： 专注于镜像构建的 Buildah 专注于镜像和容器管理的 Podman 专注于镜像 阅读全文

摘要： 上篇我们分析了 hami-scheduler 工作流程，知道了 hami-webhook、hami-scheduler 是怎么配合工作的。 本文为 HAMi 原理分析的第四篇，分析 hami-scheduler 在调度时是如何选择节点的，即：Spread、Binpack 等高级调度策略是怎么实现的。 阅读全文