NVLink、NVLink Bridge、NVLink Switch、NVSwitch

前言

在高性能计算和人工智能领域，GPU的互连性能直接影响计算任务的效率和速度。NVIDIA开发了一系列互连技术和组件，包括NVLink、NVLink Bridge、NVLink Switch和NVSwitch，以满足不同规模和复杂性的计算需求。本文将详细介绍这些基础概念，帮助初学者了解它们的功能和应用场景。

PCIe vs NVLink

首先，你大概不会陌生PCIe接口，PCIe接口毕竟是当前最常见的GPU接口，几乎所有的服务器主板都支持。而且PCIe接口还可以兼容各种类型的扩展卡，包括但不限于显卡、网卡、存储控制器等。
所以，在当前数据中心和HPC环境中，连接GPU到主板的两种主要接口标准就是PCIe接口和NVLink接口。

方面	PCIe接口	NVLink接口
通用性	通用性强，几乎所有服务器主板都支持	Nvidia专用于高性能计算和AI应用
带宽	PCIe 4.0：每条通道16 GT/s，总带宽32 GB/s；	NVLink 2.0：每条链路25 GB/s；
	PCIe 5.0：每条通道32 GT/s，总带宽64 GB/s；	NVLink 3.0：每条链路50 GB/s，总带宽可达100 GB/s；
延迟	较高，适合大多数应用	低延迟，适合频繁数据交换的高性能计算任务
多GPU互连	通过主板上的多个PCIe插槽实现多GPU配置	允许多个GPU直接互连，形成高效计算集群
应用场景	大多数GPU服务器，单GPU和多GPU配置	高性能计算，特别是AI训练任务
典型配置	多个PCIe插槽，支持多张GPU卡，通过PCIe 4.0或PCIe 5.0接口提供足够带宽和扩展性	高端GPU通过NVLink桥接互连，例如NVIDIA DGX系统，多个GPU通过NVLink互连形成高速低延迟多GPU集群

NVLink

NVLink 本身是一种显卡接口标准， 支持该接口的方式有：专用连接器、线缆、NVLink Bridge、NVSwitch以及NVlink Switch，实现了 GPU 之间的高效连接，无论是在单个服务器内部还是跨多个服务器之间。

1、数据传输：NVLink 提供高带宽、低延迟的数据传输通道，使得 GPU 之间的数据交换速度远高于传统的 PCIe 总线。
2、内存一致性：NVLink 支持 GPU 之间的内存一致性，这意味着一个 GPU 可以直接访问另一个 GPU 的内存，就像访问自己的内存一样。这样可以大大提高多 GPU 计算任务的效率。

代际	NVLink 总带宽	每个 GPU 最大链路数	NVIDIA 架构支持
第二代	300GB/s	6	NVIDIA Volta™ 架构
第三代	600GB/s	12	NVIDIA Ampere 架构
第四代	900GB/s	18	NVIDIA Hopper™ 架构
第五代	1800GB/s	18	NVIDIA Blackwell 架构

虽然主板上已经有PCIe接口或NVLink接口，但NVLink Bridge、NVSwitch和NVLink Switch进一步提升了GPU间的通信性能，特别是在多GPU配置和大规模GPU集群中。这些额外的硬件组件提供了更高的带宽和更低的延迟，使得GPU间的数据交换更加高效，从而显著提升了AI训练和高性能计算的整体性能。

NVLink Bridge

是一种硬件组件，用于在两块GPU之间建立高带宽、低延迟的直接连接。它利用NVLink技术，实现GPU间的数据快速传输。

1、直接互连：通过NVLink Bridge，GPU之间可以直接通信，而无需经过主板的PCIe总线。
2、高效通信：提供高带宽和低延迟，适用于需要高效数据交换的多GPU配置。

NVSwitch

是NVIDIA开发的一种高性能互连芯片，通常集成在服务器或专用计算系统中，用于单个服务器或小型集群内的多GPU互连。它提供了极高的带宽和低延迟通信，使得GPU间的数据交换非常高效。

1、高带宽：每个NVSwitch芯片支持高达900 GB/s的总带宽。
2、多GPU支持：一个NVSwitch芯片可以连接多达16个GPU。
3、低延迟：提供极低的通信延迟，适合频繁数据交换的高性能任务。

互联方式	适用显卡数量	连接方式	优点	适用场景
NVLink Bridge	2块显卡	通过NVLink Bridge直接连接2块GPU	高带宽（每条链路50 GB/s），低延迟，直接互联。	小型AI训练任务，多GPU协作的工作负载。
NVSwitch	3块及以上显卡	通过NVSwitch形成GPU全互连网络	极高带宽（总带宽2.4 TB/s），支持多达16块GPU的全互连，灵活的拓扑结构，低延迟。	大型AI训练集群，超级计算机，高性能计算任务。

• NVSwitch 是NVIDIA专为高性能计算和AI应用设计的高带宽低延迟互连交换芯片。
• NVSwitch 本身是一个高性能芯片，类似于其他集成电路芯片，集成在系统主板或特定的互连模块中。
• NVSwitch 是一种专用于GPU间高性能互连的芯片，而不是一个独立的设备。

NVLink Switch

NVLink Switch是2022年NVIDIA推出的一种用于跨主机连接GPU设备的交换机。
NVLink Switch将NVSwitch芯片整合到一个交换机中，用于大规模多节点GPU集群的高性能交换系统，支持数百个GPU的高效互连。它通过多条NVLink通道，将多个GPU节点连接在一起，形成一个大规模计算集群。

1、大规模互连：支持多达576个GPU的无阻塞计算网络。
2、极高带宽：每对GPU之间的总带宽可达1.8 TB/s。
3、低延迟：在大规模集群中提供低延迟通信。

代际	一个 NVLink 域内直连 GPU 的数量	NVSwitch GPU 之间带宽	聚合总带宽	NVIDIA 架构支持
第一代	最多 8 个	300GB/s	2.4TB/s	NVIDIA Volta™ 架构
第二代	最多 8 个	600GB/s	4.8TB/s	NVIDIA Ampere 架构
第三代	最多 8 个	900GB/s	7.2TB/s	NVIDIA Hopper™ 架构
NVLink Switch	最多 576 个	1800GB/s	1PB/s	NVIDIA Blackwell 架构

• NVSwitch：适用于单个服务器或小型集群内的多GPU互连，提供极高的带宽和低延迟通信，主要用于高性能计算和AI训练任务。
• NVLink Switch：用于大规模多节点GPU集群的交换系统，支持数百个GPU的高效互连，适合构建大规模数据中心和超级计算机。

NVLink vs NVSwitch

NVLink可以提供两个Nvidia GPU卡之间的高速互联（也称为chip-to-chip连接，C2C），单个服务器内的多个GPU之间的高速组网就要依赖NVSwitch。值得一提的是，其他AI芯片厂商也可以提供两个AI芯片之间的高速互联，但是因为没有像NVSwitch这样的技术，单个服务器内的多个AI芯片之间的互联问题则可能成为潜在的性能瓶颈。

项目	NVLink	NVSwitch
定义	一种高速互联协议/物理通道，用于实现两个 GPU 或 CPU-GPU 之间的点对点（P2P）高速通信。	一种专用交换芯片，用于连接多个 GPU，通过 NVLink 协议实现大规模 GPU 的全互连（All-to-All）。
类比	类似于“高速公路”本身，是数据传输的管道。	类似于“立交桥”或“交换机”，管理多条高速公路之间的交通，实现任意两点间的直达。

NVIDIA NVLink

NVLink已经从第一代发展到了第四代，提供的两个GPU之间的双向互联带宽分别是 160 GB/s、300 GB/s、600 GB/、900 GB/s [1, 3]。当然，对于中国定制版的A800和H800，两个GPU之间的NVLink双向带宽是 400 GB/s。

NVIDIA NVSwitch

NVLink解决的是两个GPU之间的互联带宽，最初就是用于替换PCIe连接（注：PCIe Gen4 双向带宽是 64GB/s，PCIe Gen5 双向带宽是 128GB/s）。
一般单个GPU服务器内都会安装8个（或者4个，或者16个）GPU卡，要实现这8个GPU卡中任意两个GPU卡之间的高速互联，就需要用到NVSwitch技术 [4]。
Nvidia NVSwitch技术也从第一代发展到了第三代，分别伴随着DGX V100、DGX A100、DGX H100发布的。

NVSwitch和NVLink-Network Switch

区别

NVLink、NVLink Bridge、NVLink Switch、NVSwitch都是什么？