KubeExplorer

摘要： 本文主要分享一下大模型微调相关的基本概念，包括大模型(GPT)训练流程、微调(SFT)方法&分类&框架&最佳实践、强化学习(RLHF)，最后则是分享了如何训练垂直领域大模型。 本文是参考网上博客、文章后进行总结而成，旨在让刚接触大模型的同学阅读后能对大模型训练的各个阶段有一个大致的概念。大佬可以直接 阅读全文

摘要： 本文主要分享如何使用 基于 Admission Webhook 实现自动修改 Pod DNSConfig，使其优先使用 NodeLocalDNS 。 1.背景 上一篇部署好 NodeLocal DNSCache，但是还差了很重要的一步，配置 pod 使用 NodeLocal DNSCache 作为优 阅读全文

摘要： 本文主要分享如何使用 NodeLocal DNSCache 来提升集群中的 DNS 性能以及可靠性，包括部署、使用配置以及原理分析，最终通过压测表明使用后带来了高达 50% 的性能提升。 1.背景 什么是 NodeLocalDNS NodeLocal DNSCache 是一套 DNS 本地缓存解决方 阅读全文

摘要： 本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源，最终该 Pod 时怎么能够使用 GPU 的，具体的实现原理，以及 device plugin、nvidia-container-toolkit 相关源码分析。 1.概述 在 两篇文章中分别分享了在不同环境如何使用 GPU，以及在 k 阅读全文

摘要： 本文主要分析 k8s 中的 device-plugin 机制工作原理，并通过实现一个简单的 device-plugin 来加深理解。 1. 背景 默认情况下，k8s 中的 Pod 只能申请 CPU 和 Memory 这两种资源，就像下面这样： resources: requests: memory: 阅读全文

摘要： 本文主要分享如何使用 vLLM 实现大模型推理服务。 1. 概述 大模型推理有多种方式比如 最基础的 HuggingFace Transformers TGI vLLM Triton + TensorRT-LLM ... 其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下 阅读全文

摘要： 本文主要分享如何使用 GPU Operator 快速搭建 Kubernetes GPU 环境。 1. 概述 上一篇文章 GPU 使用指南：如何在裸机、Docker、K8s 等环境中使用 GPU 分享了裸机、Docker 环境以及 K8s 环境中如何使用 GPU。 整个流程还算比较简单，但是因为需要在 阅读全文

摘要： 本文主要分享在不同环境，例如裸机、Docker 和 Kubernetes 等环境中如何使用 GPU。 跳转阅读原文：GPU 环境搭建指南：如何在裸机、Docker、K8s 等环境中使用 GPU 1. 概述 仅以比较常见的 NVIDIA GPU 举例，系统为 Linux，对于其他厂家的 GPU 设备理 阅读全文

摘要： 本篇介绍一下 ArgoWorkflow 中的 ExitHandler 和 LifecycleHook 功能，可以根据流水线每一步的不同状态，执行不同操作，一般用于发送通知。 1. 概述 本篇介绍一下 ArgoWorkflow 中的 ExitHandler 和 LifecycleHook 功能，可以根 阅读全文

摘要： 之前我们分析了使用 artifact 实现步骤间文件共享，今天分享一下如何使用 PVC 实现高效的步骤间文件共享。 1. 概述 之前在 artifact 篇我们演示了如何使用 artifact 实现步骤间文件传递，今天介绍一种更为简单的文件传递方式：PVC 共享。 artifact 毕竟是借助 S3 阅读全文