1. 超节点架构的技术背景与演进逻辑
大模型参数规模从GPT-3的175B跃升至GPT-4级别的万亿规模，再到当前业界探索的十万亿级稀疏/稠密混合架构，算力系统的核心矛盾已从"单卡算力不足"转向"集群互联效率低下"。传统数据中心采用256~512卡规模的千卡集群，通过多轨Spine-Leaf网络或InfiniBand Fat-Tree拓扑互联，存在以下结构性瓶颈：
- 通信墙（Communication Wall）：All-Reduce、All-to-All等集合通信操作在跨机架、跨POD场景下，时延从微秒级跃升至毫秒级，导致NPU有效算力利用率（MFU）急剧下降。
- 内存墙（Memory Wall）：单卡HBM容量有限（当前主流为96GB~192GB），大规模模型参数与KV-Cache需要依赖参数切片、重计算（Recomputation）或CPU offload，引入大量数据搬运开销。
- 拓扑刚性：传统网络拓扑在扩展至1024卡以上时，网络直径增加、bisection带宽下降，导致集群规模与通信效率之间存在不可调和的折衷。
华为提出的"超节点"（SuperPoD）概念，本质上是将传统意义上通过外部网络互联的多机多卡集群，重构为一个逻辑上的单一计算单元。这要求在网络层实现超低时延的全互联，在系统层实现全局统一内存编址，在物理层实现高密度的机电液一体化集成。Atlas 950 SuperPoD正是这一技术路线的工程化落地。
2. Atlas 950 SuperPoD 整体架构
2.1 物理组成与规模参数
Atlas 950 SuperPoD采用模块化设计理念，以64卡为最小部署单元（单计算柜），以64卡为线性步长进行扩展。基准配置为1024卡，由16台计算柜组成；最大可扩展至8192卡（128柜），且在此规模下仍保持无收敛全互联特性。
| 参数项 | 基准配置（1024卡） | 最大配置（8192卡） |
|---|---|---|
| 计算节点 | 16台计算柜 | 128台计算柜 |
| NPU数量 | 1024 | 8192 |
| FP8算力 | 1 EFLOPS | 8 EFLOPS |
| FP4算力 | 2 EFLOPS | 16 EFLOPS |
| 全局统一内存 | 256 TB | 2 PB |
| NPU互联带宽 | TB级/节点 | TB级/节点 |
| 端到端RTT时延 | 3 μs | 3 μs（拓扑保证） |
2.2 系统级架构图
从架构图可见，Atlas 950在系统层面分离了三个正交平面：计算平面（NPU与HBM）、互联平面（灵衢2.0 UB-Mesh网络）、散热平面（液冷系统），以及独立的管理平面。这种正交化设计使得计算密度的提升不会受到供电、散热或线缆工程的物理制约。
3. UB-Mesh 递归直连拓扑网络架构
3.1 拓扑设计哲学
传统GPU集群采用交换机为中心的转发式网络（如InfiniBand Spine-Leaf、NVLink Switch构成的层级拓扑），数据报文需要经过多级Switch芯片转发，每经过一跳（hop）即引入数百纳秒至数微秒的时延。Atlas 950采用的UB-Mesh（Unified Bus Mesh）是一种递归直连拓扑，其核心思想是：将交换功能分布式地嵌入到计算节点内部，通过多级递归实现任意两点间的短路径直连。
3.2 UB-Mesh 拓扑架构图
UB-Mesh采用三级递归结构：
- Level-0（单板内）：单块计算基板上的多个NPU通过高密UB-Link全互联，时延最低，通常在亚微秒级。
- Level-1（单板间）：同一计算柜内的多块基板通过背板（Backplane）或中间板实现全互联，电气走线控制在极短距离内。
- Level-2（机架间）：计算柜之间通过高速光互联或铜缆直连，灵衢2.0协议保证了跨柜通信的时延仍控制在3μs RTT以内。
3.3 拓扑的数学特性
对于1024卡的基准配置，UB-Mesh的网络直径（任意两节点间的最大跳数）被严格限制在一个很小的常数范围内。相比传统Fat-Tree拓扑在1024节点规模下通常需要46跳，UB-Mesh通过递归全互联将直径压缩至**23跳**，这是3μs RTT得以实现的拓扑基础。
此外，UB-Mesh的bisection带宽随节点数线性增长。对于$N$个节点，全互联拓扑的bisection带宽为$O(N)$，而传统Spine-Leaf架构在过订阅比为1:1时，bisection带宽虽也为$O(N)$，但其实现成本（交换机端口数、线缆数量）远高于UB-Mesh的递归直连方案。
4. 灵衢2.0（Unified Bus 2.0）协议栈深度分析
传统AI集群中，计算节点间通信涉及多种异构协议：PCIe用于机内互联，InfiniBand或RoCEv2用于机间RDMA，NVLink用于GPU片间高速互联，再加上各厂商自定义的集合通信库（NCCL、RCCL等）。这种"方言林立"的局面导致协议转换开销巨大、软件栈复杂、调试困难。灵衢2.0的设计目标是提供一套从片上到机架间、从物理层到集合通信层的统一协议栈。
4.1 协议分层模型
+--------------------------------------------------------+
| Layer 4: 集合通信层 (Collective Communication Layer) |
| AllReduce / AllGather / AlltoAll / Broadcast |
| 统一集合通信原语，适配PyTorch/DeepSpeed/Megatron |
+--------------------------------------------------------+
| Layer 3: 传输层 (Transport Layer) |
| 可靠传输 / 拥塞控制 / 流量调度 / 自适应路由 |
| 替代传统RDMA + IB传输层 |
+--------------------------------------------------------+
| Layer 2: 链路层 (Link Layer) |
| 帧封装 / CRC / ARQ / 链路级流控 |
| 统一片上与片间链路格式 |
+--------------------------------------------------------+
| Layer 1: 物理层 (Physical Layer) |
| 电气接口(短距) / 光接口(长距) / 信号调制 / 时钟恢复 |
| 单lane速率：112G/224G PAM4 |
+--------------------------------------------------------+
4.2 物理层（Physical Layer）
灵衢2.0物理层支持两种介质模式：
- 电气模式：用于Level-0和Level-1的短距互联（单板内、背板级），采用112G/224G PAM4信号调制，直接在PCB或cable背板上传输，省去光-电转换开销。
- 光模式：用于Level-2机架间互联，采用CPO（Co-Packaged Optics）或近封装光学（Near-Package Optics）方案，光模块与NPU封装距离极短，降低功耗与时延。
物理层的统一性体现在：无论电气还是光模式，** lane速率、编码方式、时钟域、电气/光特性参数**均遵循同一规范，链路层无需感知底层介质差异。
4.3 链路层（Link Layer）
链路层负责点到点链路的可靠传输。灵衢2.0链路层的关键设计包括：
- 统一帧格式：片上UB-Link、背板UB-Backplane、机间UB-Cable采用完全相同的帧头格式，消除了传统方案中PCIe TLP、IB LRH/GRH、以太网MAC帧之间的转换开销。
- 轻量级ARQ：针对AI负载以大消息（Large Message）为主、对时延敏感的特性，链路层采用选择性重传（Selective Repeat）而非GBN（Go-Back-N），将重传粒度细化到flit级别，避免整包重传的带宽浪费。
- 链路级流控：基于credit的流控机制，防止下游节点缓存溢出，同时与传输层拥塞控制解耦，形成"链路流控保可靠、传输流控优性能"的双层机制。
4.4 传输层（Transport Layer）
灵衢2.0传输层是协议栈中最具创新性的部分，它在功能上覆盖了传统InfiniBand的RC/RD/RDMA传输服务，但在设计上针对AI负载做了深度优化：
- 自适应路由（Adaptive Routing）：不同于传统静态路由或ECMP的逐流哈希，灵衢2.0传输层支持基于网络实时拥塞状态的报文级自适应路由。UB-Mesh的多路径特性使得单条流可以分散到多条等价路径上，避免incast热点。
- 拥塞控制：采用类似数据中心TCP的ECN（Explicit Congestion Notification）机制，但反馈环路由硬件直接处理，无需主机侧协议栈介入。拥塞信号从拥塞点反向传播至源端NPU的时延控制在亚微秒级，远快于传统DCQCN的毫秒级反馈环。
- 内存语义统一：传输层直接操作虚拟地址，通过硬件MMU将虚拟地址翻译为物理地址（或远程节点的物理地址），实现"Load/Store"级别的远程内存访问语义。这是256TB全局统一内存得以实现的协议基础。
4.5 集合通信层（Collective Communication Layer）
灵衢2.0在硬件层面原生支持集合通信原语的卸载（Offload）：
- 硬件Ring/Tree/Double-Binary-Tree引擎：NPU内部集成集合通信加速引擎，All-Reduce等操作无需CPU参与编排，NPU之间直接通过UB-Mesh构建通信拓扑。
- 统一通信原语：无论通信对端在单板上、单柜内还是跨柜，集合通信层均呈现统一的API语义。软件层（如华为MindSpeed或开源Megatron-DeepSpeed）无需针对节点位置编写差异化的通信策略。
- 与计算流水线重叠：灵衢2.0支持通信与计算的零拷贝、零中断重叠。传输层通过门铃机制（Doorbell）和事件通知机制，保证通信进度与NPU计算流水线的深度耦合。
5. 256TB 全局统一内存编址技术分析
5.1 NUMA vs UMA：架构范式的跃迁
传统多机系统采用NUMA（Non-Uniform Memory Access）模型：每个CPU/GPU拥有本地内存，访问远程内存需要经过互联网络，时延和带宽均劣于本地访问。在大模型训练中，数据并行（DP）、张量并行（TP）、流水线并行（PP）的混合策略迫使开发者必须显式地管理数据在NUMA节点间的分布，增加了编程复杂度。
Atlas 950提出的全局统一内存编址（Global Unified Memory Addressing）本质上是在1024卡规模上实现了逻辑上的UMA（Uniform Memory Access）或至少是极低非对称性的NUMA。256TB地址空间对所有NPU可见，任意NPU可以通过Load/Store指令访问任意远程NPU的HBM，无需显式的数据拷贝（如cudaMemcpy或send/recv）。
5.2 地址空间管理与MMU设计
实现256TB全局统一编址需要解决三个核心技术问题：
（1）地址映射与翻译
系统维护一张全局物理地址映射表（Global Physical Address Map, GPAM），将256TB的连续物理地址空间划分为若干粒度（如1GB或2MB页），每个页映射到特定NPU的特定HBM区域。每个NPU内置的MMU包含两级TLB：
- L1 TLB：缓存近期访问频率最高的远程页表项，命中时提供本地访问级别的时延。
- L2 TLB（集群级）：通过UB-Mesh以组播/广播方式同步页表更新，保证缓存一致性协议的正确性。
（2）缓存一致性协议
在1024卡规模上实现硬件缓存一致性（Cache Coherency）是极具挑战性的工程问题。华为采用目录式一致性（Directory-Based Coherency）协议，为每个物理页维护一个位向量（bit-vector），记录哪些NPU缓存了该页的副本。当某NPU对页进行写操作时，目录控制器通过UB-Mesh向所有缓存副本持有者发送无效化（Invalidate）消息。
考虑到AI负载的访问模式以"写后读、一次性流式访问"为主（如激活值前向传播、梯度反向传播），缓存一致性协议针对该模式做了优化：对于标记为"只写一次"或"只读流式"的内存页，目录控制器跳过复杂的MESI状态机，直接进入"写直达远程"或"广播只读"的优化路径。
（3）页迁移与数据局部性优化
尽管逻辑上是统一地址空间，但物理上数据仍分布在不同NPU的HBM中。系统自动运行时（Runtime）监控每个NPU的访问模式，对热点页执行透明页迁移（Transparent Page Migration）：将频繁被某NPU访问的远程页迁移到该NPU的本地HBM，同时更新GPAM和目录项。页迁移通过UB-Mesh的高带宽通道完成，且与计算流水线重叠，对应用层透明。
6. 液冷散热系统工程分析
6.1 正交架构与零线缆电互联
Atlas 950在物理工程层面采用了正交架构（Orthogonal Architecture）：计算节点、互联背板、供电母排、液冷歧管在三维空间中正交布局。具体而言：
- 计算基板沿水平方向插入机柜中部；
- 互联背板（UB-Backplane）垂直布设于机柜后侧，计算基板通过高速连接器与背板正交对接；
- 供电母排沿垂直方向布设，通过母排-基板正交接触实现供电，消除了传统机柜中大量的电源线缆；
- 液冷歧管水平/垂直分层布设，与计算节点的液冷冷板形成正交对接。
正交架构的核心优势在于：在单柜64卡的高密度部署下，消除了传统架构中因线缆堆叠导致的风阻、信号串扰和维护困难问题。所有电气互联（供电、信号）均通过板对板连接器或母排接触完成，实现零线缆电互联。
6.2 浮动盲插液冷接头
液冷系统在高密度机柜中面临的核心可靠性挑战是：维护人员插拔计算节点时，液冷接头的对位精度难以保证，导致漏液风险。Atlas 950采用浮动盲插（Floating Blind-Mate）液冷接头设计：
- 接头在X/Y/Z三个方向上具备±数毫米的浮动容差，允许计算节点在插入过程中存在一定对位偏差；
- 接头内部采用自密封阀结构，在插拔瞬间自动切断液路，避免冷媒泄漏；
- 机柜级Manifold分液歧管采用冗余环路设计，单点接头故障不影响整个液冷回路的循环。
6.3 光模块液冷可靠性提升
光模块是高速互联系统中的热敏感组件，传统风冷方案下光模块壳温（Case Temperature）通常控制在70°C以下，但在1024卡超节点的高密度环境中，机柜内部热流密度极高，风冷难以满足要求。
Atlas 950将光模块纳入液冷散热体系，通过独创的材料与封装工艺，使光模块的散热路径直接耦合到液冷冷板。具体技术细节包括：
- 高导热界面材料（TIM）：在光模块外壳与冷板之间填充新型相变导热材料，导热系数较传统硅脂提升一倍以上；
- 热电共封装（Thermal-Electrical Co-Design）：光芯片（Laser/Modulator/PD）的封装基板直接集成微流道，冷却液流经芯片背部，实现芯片级液冷；
- 可靠性数据：据华为公开的技术白皮书，上述工艺使得光模块在液冷环境下的失效率（FIT, Failures in Time）较传统风冷方案降低约50%，即液冷可靠性提升一倍。
7. 与NVIDIA NVL体系的技术对比
NVIDIA的NVLink域是业界最成熟的GPU超节点方案。2026年下半年预计上市的NVL144与2027年预计上市的NVL576，是Atlas 950在市场中直接对标的竞品。以下从多个技术维度进行横向对比。
7.1 Atlas 950 vs NVL144（2026下半年上市）
| 对比维度 | Atlas 950 (1024卡) | NVIDIA NVL144 | 倍数关系 |
|---|---|---|---|
| NPU/GPU数量 | 1024 | 18 (GB300 NVL72 x2) | 56.8x |
| FP8稠密算力 | 1 EFLOPS | ~0.15 EFLOPS (估算) | ~6.7x |
| FP4稠密算力 | 2 EFLOPS | ~0.3 EFLOPS (估算) | ~6.7x |
| 全局统一内存 | 256 TB | 76.8 TB | 3.3x |
| 集群级内存容量（对比项） | 1152 TB (注：含扩展配置) | 76.8 TB | 15x |
| NPU互联带宽 | 16.3 PB/s | 260 TB/s | ~62x |
| 网络拓扑 | UB-Mesh 递归直连 | NVLink Switch 层级互联 | - |
| 互联协议 | 灵衢2.0 统一总线 | NVLink + NVSwitch + IB/以太网 | - |
| 跨节点RTT时延 | 3 μs | ~5-10 μs (IB网络) | 更低 |
| 最小部署单元 | 64卡/柜 | 72卡/柜 (NVL72) | - |
| 最大全互联规模 | 8192卡无收敛 | 576卡 (NVL576, 2027) | 更大 |
注： 上表中NVL144数据基于NVIDIA公开路线图及行业分析估算，具体数值以实际发布为准。"集群级内存容量15倍"为特定对比口径（950扩展配置 vs NVL144标准配置）。
7.2 Atlas 950 vs NVL576（2027年上市）
即使对标NVIDIA 2027年的NVL576（由8个NVL72通过NVLink Switch互联构成），Atlas 950在多个维度上仍保持领先：
| 对比维度 | Atlas 950 | NVL576 (2027) | 分析 |
|---|---|---|---|
| 卡规模 | 1024（最大8192） | 576 | 950基准配置即超NVL576近一倍；最大规模超14倍 |
| 全互联规模上限 | 8192卡无收敛 | 576卡 | NVL576是NVLink域的物理上限，超出需退化为IB网络；950的UB-Mesh可原生扩展至8192卡 |
| 算力密度 | 1 EFLOPS / 1024卡 | 估算约0.6 EFLOPS / 576卡 | 单卡算力密度相当，但950的集群效率因统一协议栈而更优 |
| 内存统一性 | 256TB全局统一编址 | NVLink域内统一，跨域退化为NUMA | 950在更大规模上保持UMA语义 |
| 互联协议统一性 | 灵衢2.0单层协议 | NVLink + NVSwitch + IB/以太网多层协议 | 950协议栈更简洁，软件开销更低 |
7.3 技术路线差异的本质
NVIDIA的NVLink体系本质上是在PCIe/以太网生态之外，构建了一套GPU专用的私有互联协议栈。其优势在于与CUDA生态的深度耦合，劣势在于协议栈的封闭性与层级复杂性。
华为的灵衢2.0路线则试图从物理层到应用层构建一套完全统一的开放总线，将片上互联、机内互联、机间互联纳入同一协议框架。这种"大一统"架构的潜在优势包括：更低的协议转换开销、更简化的软件栈、更大规模的全互联能力；其挑战则在于生态兼容性——需要说服框架层（PyTorch、TensorFlow）和算法层（DeepSpeed、Megatron、vLLM）针对灵衢2.0进行深度适配与优化。
8. 对大模型训练与推理的架构意义
8.1 训练场景：打破通信墙与内存墙
在大模型训练中，Atlas 950的架构优势体现在以下具体场景：
（1）超大模型单集群训练
对于万亿参数级稠密Transformer模型，传统的3D并行（TP+PP+DP）策略在千卡集群上往往面临通信瓶颈。以All-Reduce为例，在InfiniBand网络上，1024卡的All-Reduce时延通常在数百微秒至毫秒级；而在Atlas 950的UB-Mesh上，借助3μs RTT和硬件集合通信引擎，All-Reduce时延压缩一个数量级。
这意味着：
- 可以采用更大的张量并行规模（TP size），减少因TP跨机引入的通信量；
- 流水线并行的bubble率降低，因为PP stage间的激活值传输时延显著减小；
- 整体上，模型FLOPs利用率（MFU）从传统集群的30%~50%提升至更高水平。
（2）长上下文训练
长上下文（Long Context，如1M~10M tokens）训练的核心瓶颈是KV-Cache的内存占用。256TB全局统一内存使得单集群可承载的序列长度大幅提升。例如，一个万亿模型在1024卡上以128K上下文训练时，KV-Cache可能占用数十TB HBM；在传统集群中，这迫使开发者采用PP并行或CPU offload；而在950上，KV-Cache可直接驻留于全局内存空间，NPU通过灵衢2.0的远程Load/Store语义直接访问，避免了显式的数据搬运。
（3）MoE稀疏模型训练
Mixture-of-Experts（MoE）模型的All-to-All通信模式对网络拓扑极为敏感。UB-Mesh的全互联特性和自适应路由能力，使得All-to-All的incast热点得到有效缓解，专家并行（Expert Parallelism）的规模可以随卡数线性扩展而不受网络瓶颈制约。
8.2 推理场景：低时延与高吞吐的统一
（1）大模型推理的PD分离与KV-Cache池化
当前大模型推理的趋势是Prefill-Decode（PD）分离架构：Prefill阶段计算密集，Decode阶段内存带宽密集。Atlas 950的全局统一内存允许构建跨NPU的KV-Cache池：Decode节点可以透明地访问Prefill节点写入的KV-Cache，无需通过显式通信（如send/recv或RDMA read）进行数据迁移。
（2）多模型并发服务
256TB统一内存空间使得单集群可以同时加载多个大模型（如一个千亿基座模型+多个LoRA适配器，或不同任务域的专用模型），通过全局内存的页级隔离实现安全的多租户共享。灵衢2.0的传输层流控与QoS机制保证了不同模型实例之间的带宽隔离。
（3）推理批处理（Batching）效率
在Continuous Batching（如vLLM的PageAttention）场景下，请求动态到达导致KV-Cache的内存分配高度碎片化。全局统一内存配合透明页迁移机制，允许系统自动将碎片化的KV-Cache页整理（Defragmentation）并迁移到最优物理位置，提升内存利用率和批处理吞吐量。
9. 总结与展望
Atlas 950 SuperPoD代表了AI算力基础设施从"集群"向"超节点"演进的里程碑。其技术架构的核心创新点可以归纳为三个维度：
-
网络维度：UB-Mesh递归直连拓扑与灵衢2.0统一总线协议栈，在1024卡乃至8192卡规模上实现了微秒级全互联，打破了传统网络拓扑的通信墙。
-
内存维度：256TB全局统一内存编址与硬件级缓存一致性，在超大规模NPU集群上实现了接近UMA的编程模型，显著降低了大模型并行策略的复杂度。
-
物理维度：正交架构、零线缆电互联、浮动盲插液冷与光模块液冷技术，解决了超高密度部署的机电液工程难题，为算力密度的持续提升提供了物理基础。
与NVIDIA NVL体系相比，Atlas 950在卡规模、总算力、互联带宽、内存容量等硬指标上具备显著领先优势，其根本原因在于华为采用了"统一总线+递归直连"的架构路线，而非NVLink的"专用域+层级交换"路线。
当然，架构的先进性最终需要通过软件生态和实际 workload 的性能表现来验证。灵衢2.0能否在PyTorch、Megatron、DeepSpeed、vLLM等主流框架上实现与NVLink-CUDA生态相媲美的易用性和性能优化深度，将是Atlas 950能否在市场中取得成功的关键变量。从WAIC 2026斩获SAIL最高奖来看，业界对这套架构的技术价值已给予高度认可。未来一到两年，随着更多基于Atlas 950的训练/推理 workload 性能数据公开，超节点架构的竞争优势将得到更全面的检验。
参考资料与说明
- 本文技术参数主要基于华为Atlas 950 SuperPoD官方发布资料及2026年WAIC公开信息整理。
- NVIDIA NVL144/NVL576参数基于NVIDIA公开路线图及行业分析估算，具体以厂商实际发布为准。
- 文中架构图与协议栈分析为基于公开技术信息的推演，内部实现细节以华为官方技术白皮书为准。
浙公网安备 33010602011771号