nvidia gpu mig
https://www.nvidia.cn/technologies/multi-instance-gpu/
根据需要调配和配置实例
一个 GPU 可划分成多个大小不同的 MIG 实例。例如，在 Grace Blackwell 超级芯片上，管理员可以创建两个各有 95GB 显存的实例、四个各有 45GB 的实例，或七个各有 23GB 的实例。
管理员还可以动态重新配置 MIG 实例，从而根据不断变化的用户需求和业务需求调整 GPU 资源。例如，白天可以使用七个 MIG 实例进行低吞吐量推理，夜间则可以重新配置为一个大型 MIG 实例，以便进行深度学习训练。
安全、并行运行工作负载
每个 MIG 实例都拥有一组专用的计算、内存和缓存硬件资源，因此能够实现稳定可靠的服务质量和故障隔离。这意味着，如果某个实例上运行的应用发生故障，将不会影响其他实例上运行的应用。
这还意味着，不同的实例可以运行不同类型的工作负载，包括交互式模型开发、深度学习训练、AI 推理、高性能计算应用等工作负载。由于这些实例并行运行，因此工作负载也都是在同一个物理 GPU 上并行运行，但它们相互独立、彼此隔离。
Blackwell 和 Hopper GPU 通过多达 7 个 GPU 实例在虚拟化环境中支持多租户、多用户配置，以便协助实现 MIG，进而在硬件和服务器虚拟化管理程序级别利用机密计算安全地隔离每个实例。每个 MIG 实例都有专用的视频解码器，这些解码器能够在共享基础架构上提供安全、高吞吐量的智能视频分析 (IVA)。借助并发 MIG 分析，管理员可以监控规模适当的 GPU 加速，并为多个用户分配资源。
如果工作负载较小，研究人员可以不必租用整个云实例，而是利用 MIG 安全地隔离 GPU 的一部分，同时保证其数据在静态、传输和使用时安全无虞。这可以使云服务提供商更灵活地进行定价，并抓住小型客户带来的商机。
浙公网安备 33010602011771号