哈佛-CS249r-机器学习系统第二卷-九-

哈佛 CS249r：机器学习系统第二卷（九）

原文：Machine-Learning-Systems-Vol2

译者：飞龙

协议：CC BY-NC-SA 4.0

公平性不可能定律 (第 16 章) 表明了为何这是一个系统约束而非调优问题：当不同群体的基础比率不同时，没有任何模型能同时满足校准和平衡错误率 (Kleinberg et al. 2016; Chouldechova 2017)，因此工程师必须选择优先满足哪个标准，并构建监控机制来维持它。工程师必须从一开始就为公平性设计，并配备监控基础设施以检测跨人口统计群体的性能下降。负责任 AI 的工程方法，从偏见检测到可解释性机制，与性能优化具有同等分量。环境责任将治理层延伸至物理资源预算。

第五原则：可持续性

第五原则是可持续性。第 15 章揭示了大规模 ML 的环境影响如何将资源效率提升为主要工程约束 (Strubell et al. 2019; Patterson et al. 2021)。AI 的 Jevons Paradox（杰文斯悖论）将 Jevons 的资源效率论点应用于 AI，解释了为何仅靠硬件效率提升无法消除能耗和碳成本：更廉价的计算扩大了部署规模，除非绝对碳预算管控车队，否则单次查询的节省会被使用量增长所抵消 (Jevons 1865)。

因此，可持续性从环境关切转变为工程学科。能源成本可能超过模型开发预算，热力限制限制硬件密度，电力基础设施要求限制部署位置。碳感知调度、生命周期评估⁴³⁸ 和效率优化成为与传统性能指标同等重要的核心工程能力。前五个原则汇聚于最终洞见：规模改变了系统本身的行为。

第六原则：生产规模下的涌现行为

第六原则直接捕捉了这一洞见：在中等规模下工作正常的系统，在生产规模下会表现出根本不同的行为。一个在 8 块 GPU 上运行的训练作业，当扩展到 8,000 块 GPU 时，可能会遇到在较小规模下未曾显现的通信瓶颈、负载不均或同步开销。一个拥有 100,000 个并发用户会话的服务，每天轻松产生数百万次请求机会，因此百万分之一概率的边缘情况在生产流量下每天都可能浮现。

规模正是分布式 ML 需要根本不同工程方法的原因。优化单机性能的技术虽必要，但已证明不足。新现象涌现：拖慢集群的慢节点⁴³⁹、分割训练的网络分区、以及跨硬件代际的异质性使负载均衡复杂化。

完整的生产系统

以原型 A 为例，这是一个前沿语言模型，如 GPT-4 级或 Llama 3 级系统，跨数千个加速器训练后部署到全球服务车队。模型首先制造了一个存储问题：检查点爆发写入不得不饿死数据加载器。存储和网络压力随之塑造训练循环，因为集体通信必须在下一个优化步骤让集群空闲前完成。在该规模下，故障是预期内而非例外，因此检查点节奏必须遵循基于观测故障率的 Young-Daly 检查点定律 (Young 1974; Daly 2006)。模型上线后，服务 SLO 必须为回滚和降级预留余量，治理控制必须决定哪些数据、模型和输出被允许触达用户。这些不是独立的清单。它们是耦合的速率、预算、故障暴露面和策略约束。

舰队技术栈：相互依赖与工程判断

在生产环境中，没有任何原则是孤立存在的。舰队技术栈呈现为一系列相互依赖的层级：物理基础设施约束运维可能性，而运维可能性又必须满足治理要求。每个原则都会产生贯穿整个技术栈的需求与约束，且这些原则有时会发生冲突。通信优化可能需要增加故障暴露面的同步模式。可持续性约束可能限制本可最大化原始性能的基础设施选择。负责任 AI 要求可能增加延迟或计算开销，从而给服务 SLO 和容量预算带来压力。开销的置换保证了这些张力无法被消除，只能被转移：分布式 ML 工程的艺术在于寻找能在可接受权衡中平衡所有六大原则的设计，而非让成本凭空消失。

生产系统始于物理算力，但算力只有在各项速率对齐时才有意义。第 2 章提供加速器、电力、冷却和互联结构；第 4 章决定数据能否到位得足够快；而第 6 章决定工作节点能否在不将网络变成瓶颈的前提下完成同步。这些子系统必须协同设计：超出通信能力的存储带宽会造成资源浪费，而超出存储吞吐量的通信路径会让加速器处于空闲状态。

存储与通信必须围绕匹配的速率进行协同设计。

随后，第 5 章会依据这些物理速率和预期故障模式选择并行化策略。数据并行、模型并行和流水线并行并非可互换的模板；每种策略都会改变内存压力、通信量、检查点行为和调度器复杂度。仅当周围的存储、互联结构和恢复设计能够支持分区的形状时，混合策略才变得有用。

服务将同一个技术栈向外呈现。第 10 章和第 9 章将模型能力转化为延迟、吞吐量和成本目标，而第 12 章则在流量和分布发生漂移时保持这些目标的有效性。第 13 章、第 11 章、第 14 章、第 16 章和第 15 章增加了无法推迟的约束：降低延迟无法让攻击面隐形，降低能耗无法抹除公平性可观测性，提高吞吐量无法让恢复变得不可能。这些层级共同定义了舰队技术栈所需的专业能力：协调规模、运维在线服务、治理后果，且不将任何层视为独立。

贯穿全书的三种工作负载（第 1.6.1 节）说明了 C³ 分类法的没有任何单一维度占据主导地位。表 17.2 对比了每种运行原型中优先约束的条款。

| :--- | :--- | :--- | :--- |

表 17.2：原型与约束 C³ 条款：相同的舰队定律适用于全书三个运行中的工作负载，但每个工作负载暴露了不同的首要约束。

相同的舰队定律和相同的六大原则适用于所有三种负载；变化的是哪个条款优先约束，而工程师的任务是从负载中读取该条款，而非预设它。

因此，结语诊断是程序化的：

从观察到的症状入手：命名用户可见或运维可见的故障。
关联指标：选择能使症状可证伪的度量指标。
映射至 C³：识别是计算、通信还是协调优先约束。
定位舰队技术栈层级：找到拥有干预权的层级。
说明置换的成本：描述拟议修复将成本转移到了何处。
保留治理证据：保留为决策提供正当性所需的审计、安全、安保或责任证据。

低 MFU 可能指向通信或协调，而非计算不足。公平性告警可能指向缺失标签、审核能力不足或服务路径阈值策略，而非仅是模型权重。安全事件可能指向工件溯源、工具权限或回滚证据，而非仅是网络边界失效。纪律要求我们顺着约束追踪，直到责任层级和权衡清晰可见。

掌握的核心能力

刚才组装的集成生产系统将能力定义为约束下的工程判断，而非技术核对清单。精通意味着识别哪一层是约束瓶颈，设计招致哪种故障模式，以及在系统扩展时哪种权衡必须保持可见。

在分布式系统层面，核心问题是如何让大于任何单机的负载表现得像一个协调的系统。掌握本材料的工程师能够编排超越单机内存或算力的训练，分析通信模式（认识到对于大小为 M 的梯度，随着集群规模增长，Ring AllReduce 在带宽项上每个工作节点移动约 2*M 字节），并选择适合负载的网络架构。

同一工程师还必须从组件 MTBF 和舰队规模推导预期故障节奏。在 Llama 3 级集群规模下，Meta 报告每隔几小时就会发生意外中断，而非每隔几个月 (Dubey et al. 2024)；通用的教训是为常态化故障设计。故障模式是将规模视为单纯的聚合算力；权衡在于并行加速、通信成本和恢复开销之间。

在生产运维层面，核心问题是训练好的模型如何在实时流量和分布漂移下持续提供价值。服务税、连续批处理、以及对性能和语义漂移的监控之所以重要，是因为它们能防止一个可用的模型变成低效或语义陈旧的服务。

舰队栈即纪律

这些能力之所以重要，是因为约束瓶颈将持续转移。仅精通特定一代系统是不够的；工程师必须识别何时新的扩展机制会改变设计单元。更大的模型会遇到系统极限：网络结构限制同步，内存系统限制状态驻留，能源基础设施限制舰队增长，治理限制可部署内容。组合是天然的压力点之一，因为模型、工具、检索和验证的系统协调许多专业化能力，而非仅放大单一模型。系统的教训不是能力的新定律；而是在新边界上应用相同的舰队栈纪律。当有用的工作跨越多个组件时，工程师必须将编排开销、状态移动、故障传播、延迟预算和治理证据作为系统本身的一部分来度量。

同一点可表述为一个简单的舰队栈核算问题。计算假设目标为 100× 效率提升，然后将部分增益归因于硬件和算法压缩。剩余项即为舰队必须提供的编排改进。

问题：假设某工作负载需要在大型集群基线上实现 100× 的效率改进。若特定工作负载从硬件获得 4×，从算法压缩获得 2.5×，剩余增益须从何而来？

数学：系统总增益是舰队栈各层改进的乘积。

硬件（物理）：本场景中为 4×。
算法（数学）：来自与工作负载兼容的稀疏性或蒸馏的 2.5×。
编排（系统）：100× / (4.0 × 2.5) = 10×。

系统洞察：因硅与数学均可能遭遇边际收益递减，激进的 100× 效率目标不能仅依赖单一层级。此处效率指每单位舰队资源预算的有用任务进展，而非单纯的 FLOP/s。在此说明性场景中，剩余 10× 来自系统编排：减少重复工作、将请求路由至适当组件、复用缓存状态、通信与计算重叠、且在不耗尽延迟预算下验证输出。能力不仅在于模型权重；亦在于舰队逻辑。

舰队效率需要硬件、算法和编排增益协同。

在舰队栈框架下，能力源自通过第 12 章确立的机器学习运维 (MLOps) 管道协调的专用组件。编排层作为控制平面，在延迟、成本和故障预算下调度模型调用、检索、工具执行和验证，呼应了第 8 章所研究的舰队编排。

这些编排增益仍运行于物理结构之上。一旦软件减少了浪费的模型调用、重复检索和可避免的协调，剩余前沿即为移动 Token、激活值和电力贯穿舰队的底层基质。因此舰队栈透镜也适用于常规晶体管扩展之外的研究与部署候选。光 I/O、共封装光学、3D 集成和新型计算基质等技术，可通过降低比特能耗、缩短通信路径、增加带宽密度或使存算更接近，改变舰队的物理特性。结论并非某单一基质胜出。持久需求保持不变：带宽优化、容错和负责任治理必须在基质变更时依然成立。

跨数千加速器分区的 Transformer 模型通过多种机制产生通信压力。张量并行在分区张量间使用频繁集合操作，而专家混合路由在 MoE 层使用全对全分发。该规模下，跨数据中心级距离电传输数据的能耗可与有用算术运算能耗相当，这正是光互联成为合理结构效率杠杆的原因。扩展压力非泛泛而谈；它直接源自集合通信模式。

问题：运行张量并行和专家混合路由的大型 ML 集群可能触及能量墙，因规模下的集体流量使互联能耗成为一阶成本。使用说明性光 I/O 目标场景，对比粗略的长距离电信号与较低的光 I/O 目标。若使用 10 pJ/bit 和 5 pJ/bit 作为简单场景，主导这些 ML 工作负载的集体通信能获得多少效率红利？

数学：一次通信效率飞跃是将部分结构从电信号迁移至光信号。

电信号成本：10 pJ/bit。
光 I/O 场景：5 pJ/bit。
效率增益：2×。

系统洞察：通过“做更多相同的事”进一步扩展终将撞上能量墙。此墙由集合操作的量级与频率驱动：用于梯度同步的 AllReduce 和用于 MoE 层的全对全分发随模型与集群规模增长。打破此墙需改变通信物理。光 I/O 是有意义的结构效率杠杆，但此场景说明其带来的是单数数量级能效改进，而非结构层面的数量级降幅。在机器学习舰队中，数据局部性与互联效率原则是热力学要求，而非可选优化。

这些结构层面极限促使进行最后一次效理智检查：机器舰队与人脑的对比。此比较非为生物类比本身；它测试编排、局部性和结构效率是否将工程系统推向可信的能源预算。

大规模工程智能

大规模 ML 基础设施引发与高能效生物基线——人脑——的比较。粹米估算构建此比较框架，而不将机器 FLOP/s 与突触活动视为等价。

问题：某假设大型集群与人脑突触活动粗略估算对比。此粹米风格理智检查非同类操作指标对比；两者间是何种数量级关系？

假设：

机器集群：参考大型集群场景中的 25,000 块 H100 GPU。
机器 FLOP/s：25,000 × H100 FP16 张量峰值 ≈ 2.47 × 10¹⁹ FLOP/s（近似值；H100 FP16 张量峰值为 989 TFLOP/s）。
机器功耗：25,000 × 700 W ≈ 17.5 MW。
大脑突触：10¹⁴ 个突触（连接）。
大脑放电率：说明性平均尖峰率 ≈ 1 Hz；估值随神经元类型和脑区变化，平均皮层放电率远低于常见对比中常用的 100 Hz 峰值。
大脑突触操作率：10¹⁴ × 1 = 1.0 × 10¹⁴ 突触操作/秒。

数学：

机器与大脑的原始操作速率比率为：

\frac{\text{机器峰值 FLOP/s}}{\text{大脑突触操作/s}} \approx 247,250×

系统洞察

这种比较仅作为警示之用，而非等同关系。机器 FLOP/s（每秒浮点运算次数）绝大部分是 Transformer 架构强制要求的稠密矩阵乘法（GEMM）：结构僵化，同步操作在数千个加速器间紧密编排。生物突触操作则是稀疏的、事件驱动的、大规模去中心化的，没有全局屏障或梯度步骤的对应物。吞吐比率衡量的是原始算力体量，而非智能，两种操作类型间的架构鸿沟与数值鸿沟同样巨大；20 W 大脑与 17.5 MW 集群间的任何效率比较，都取决于用于大脑的操作模型。

费米估算之所以有用，正是因为它拒绝了 FLOP/s 与智能之间的简化等同。车队栈框架已确立了规模化的工程原则；持续的挑战在于效率，即在能源、碳排和经济包络的约束下应用这些原则，而这些包络限制了进一步增长。

数据中心消耗兆瓦级功率；大脑仅靠约 20 瓦运行。

车队栈为将智能作为系统进行工程化提供了专业框架：基础设施为车队供能，分布式协议协调数千设备间的工作，服务系统向用户交付智能，治理授权使车队与安全、可持续性、问责制及明确的人类影响约束保持一致。大规模智能系统需要理解这些原则并能在约束下应用它们的工程师。因此议程有三重：可扩展的系统、持久的系统，以及将社会与环境义务工程化至运行路径中的系统。

谬误与陷阱

所有结语性错误都源于优化了错误的设计单元。模型可能变优，但车队却可能变慢、可靠性下降、成本增加或更难治理。

谬误：更快的模型自动意味着更好的系统。

原始模型速度固然重要，但它只是车队方程式中的一项。一种设计若在缩短内核时间的同时，增加了检查点压力、网络争用、服务方差或治理风险，反而会让整个系统变差。系统层面的问题是：该变更是否在实际约束下（数据移动、同步、故障恢复、功耗、延迟和问责制）提升了有效吞吐量。

陷阱：优化某一层，却将其产生的约束隐藏在另一层中。

当局部改进将成本转移到无人测量的层级时，就会变得危险。更大的批次可能提高加速器利用率，却恶化尾部延迟。激进的压缩可能减少通信，却增加准确率风险。碳感知调度可能降低排放，却要求服务预算留出更多余量。优秀的工程尊重开销的位移，保持被转移约束的可见性，以便系统能主动选择，而非被动继承隐藏的瓶颈。

谬误：车队规模的经验教训绑定于当下的硬件和软件栈。

具体的处理器、框架和服务引擎会变，但持久的关系长存。数据必须以所需速率到达算力端。工作节点必须在同步拖垮作业前完成通信。在大规模组件数量下，故障必须被视为常态。服务系统必须满足尾部延迟预算，治理约束必须被工程化进运行路径。技术名称只是例子；速率、故障与问责关系才是核心教训。

陷阱：将治理和可持续性视为外部审查而非系统约束。

安全、公平、隐私和碳核算常被推迟，因为它们看起来不如吞吐率或准确率紧迫。在车队规模下，这种推迟会制造架构债务。在部署后补装审计追踪、人口统计监控、访问控制、删除工作流或碳感知放置，比在设计服务路径、数据管道和调度器时就为它们预算要昂贵得多。

总结

在车队规模下，核心工程对象不再是孤立的模型、加速器或服务端点。它是一个耦合系统，负责移动数据、调度工作、幸存故障、服务用户，并在真实的物理与组织约束下履行治理义务。贯穿全书的方法始终如一：识别约束性瓶颈，量化其施加的成本，并设计运行路径，使约束保持可见，而非被置换到另一层。

车队即对象：全书六大原则归结为一个习惯：跟随约束性瓶颈穿越基础设施、通信、协调、服务与治理。你构建、衡量和优化的单位是车队，而非任何单一模型或组件。
规模改变概率模型：在 99 分位数下，触达 100 台服务器会有 63.4% 的概率遇到慢节点，Llama 3 在 54 天内经历了 419 次意外中断。车队行为绝非单节点行为的简单重复。
编排即能力：示例中的 100× 效率目标无法仅靠硅片或算法实现；在获得 4× 硬件增益和 2.5× 算法增益后，剩余的 10× 必须来自路由、复用、重叠与验证。
义务属于路径：安全、隐私、公平、碳排、无障碍与可审计性是生产约束，而非外部审查。纪律要求在数据管道、调度器、服务路径和运行程序设计之初就将其纳入，以免规模扩大后权衡变得不可逆。

贯穿始终的主线是：规模化智能是协同设计的涌现属性，通过关系而非孤立制品来工程化。模型、加速器、互联网络、数据系统、调度器、服务路径、监控器和治理控制构成一个耦合系统。持久的专业技能在于跟随系统中的活跃约束，并在生产规模使其不可逆之前，显式地做出权衡。

Prof. Vijay Janapa Reddi, Harvard University

面对挣扎的车队，工程师应如何识别约束性瓶颈并跟随它穿越算力、通信、协调、服务与治理？
局部更快的模型如何通过将成本置换到另一层，导致整个系统变差？
一旦故障在车队规模下成为常态而非例外，系统设计应如何改变？
随着当今的加速器、框架和服务栈发生变化，哪些车队规模原则将保持长久有效？

参考文献

Abadi, M., A. Chu, I. Goodfellow, H. B. McMahan, I. Mironov, K. Talwar, and L. Zhang. 2016. “Deep Learning with Differential Privacy.” Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, CCS ’16, 308–18. https://doi.org/10.1145/2976749.2978318.

Adi, Yossi, Carsten Baum, Moustapha Cisse, Benny Pinkas, and Joseph Keshet. 2018. “Turning Your Weakness into a Strength: Watermarking Deep Neural Networks by Backdooring.” 27th USENIX Security Symposium (USENIX Security 18), 1615–31.

Agrawal, Amey, Nitin Kedia, Ashish Panwar, Jayashree Mohan, Nipun Kwatra, Bhargav S. Gulavani, Alexey Tumanov, and Ramachandran Ramjee. 2024. “Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve.” 18th USENIX Symposium on Operating Systems Design and Implementation (OSDI 24), 117–34.

AI, Meta. 2022. Building the Most Powerful AI Supercomputer: Meta’s AI Research SuperCluster. Meta AI 博客。

Ainslie, Joshua, James Lee-Thorp, Michiel de Jong, Yury Zemlyanskiy, Federico Lebron, and Sumit Sanghai. 2023. “GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints.” Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 4895–901. https://doi.org/10.18653/v1/2023.emnlp-main.298.

Aizman, Alex, Gavin Maltby, and Thomas Breuel. 2019. “High Performance I/O for Large Scale Deep Learning.” 2019 IEEE International Conference on Big Data (Big Data), 5965–67. https://doi.org/10.1109/bigdata47090.2019.9005703.

Aji, Alham Fikri, and Kenneth Heafield. 2017. “Sparse Communication for Distributed Gradient Descent.” Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, 440–45. https://doi.org/10.18653/v1/d17-1045.

Alexandrov, Albert D., Mihai F. Ionescu, Klaus E. Schauser, and Chris J. Scheiman. 1995. “LogGP: Incorporating Long Messages into the LogP Model—One Step Closer Towards a Realistic Model for Parallel Computation.” Proceedings of the Seventh Annual ACM Symposium on Parallel Algorithms and Architectures - SPAA ’95 30: 95–105. https://doi.org/10.1145/215399.215427.

Al-Fares, Mohammad, Alexander Loukissas, and Amin Vahdat. 2008. “A Scalable, Commodity Data Center Network Architecture.” ACM SIGCOMM Computer Communication Review 38 (4): 63–74. https://doi.org/10.1145/1402946.1402967.

Alistarh, Dan, Demjan Grubic, Jerry Li 0001, Ryota Tomioka, and Milan Vojnovic. 2017. “QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding.” Advances in Neural Information Processing Systems 30: 1709–20.

Alizadeh, Mohammad, Albert Greenberg, David A. Maltz, Jitendra Padhye, Parveen Patel, Balaji Prabhakar, Sudipta Sengupta, and Murari Sridharan. 2010. “Data Center TCP (DCTCP).” Proceedings of the ACM SIGCOMM 2010 Conference, 63–74. https://doi.org/10.1145/1851182.1851192.

Amazon Web Services. 2017. Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region. AWS 服务事件摘要。

Amazon Web Services. 2020. Amazon S3 Update – Strong Read-After-Write Consistency. AWS 新闻博客。

Amazon Web Services. 2026a. Checking Object Integrity in Amazon S3. Amazon S3 用户指南。

Amazon Web Services. 2026b. Managing the Lifecycle of Objects. Amazon S3 用户指南。

Amazon Web Services. 2026c. Naming Amazon S3 Objects. Amazon S3 用户指南。

Amazon Web Services. 2026d. Understanding Archive Retrieval Options. Amazon S3 用户指南。

Amdahl, Gene M. 1967. “Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities.” Proceedings of the April 18-20, 1967, Spring Joint Computer Conference on - AFIPS ’67 (Spring), AFIPS ’67 (spring), 483–85. https://doi.org/10.1145/1465482.1465560.

Amershi, Saleema, Andrew Begel, Christian Bird, Robert DeLine, Harald Gall, Ece Kamar, Nachiappan Nagappan, Besmira Nushi, and Thomas Zimmermann. 2019. “Software Engineering for Machine Learning: A Case Study.” 2019 IEEE/ACM 41st International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP), 291–300. https://doi.org/10.1109/icse-seip.2019.00042.

Amiel, Frederic, Christophe Clavier, and Michael Tunstall. 2006. “Fault Analysis of DPA-Resistant Algorithms.” In Fault Diagnosis and Tolerance in Cryptography. Springer Berlin Heidelberg. https://doi.org/10.1007/11889700_20。

Amodei, Dario, and Danny Hernandez. 2018. “AI and Compute.” OpenAI Blog 2.

Amodei, D., C. Olah, J. Steinhardt, P. Christiano, J. Schulman, and D. Mané. 2016. “Concrete Problems in AI Safety.” arXiv Preprint arXiv:1606.06565, ahead of print. https://doi.org/10.48550/arXiv.1606.06565 。

Andrae, Anders, and Tomas Edler. 2015. “On Global Electricity Usage of Communication Technology: Trends to 2030.” Challenges 6 (1): 117–57. https://doi.org/10.3390/challe6010117 。

Anslow, Pete. 2016. RS(544,514) FEC Performance Including Precoding. IEEE P802.3cd Task Force。

Anthony, L. F. W., B. Kanding, and R. Selvan. 2020. Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models. ICML Workshop on Challenges in Deploying and monitoring Machine Learning Systems。

Antonakakis, M., T. April, M. Bailey, M. Bernhard, E. Bursztein, J. Cochran, Z. Durumeric, et al. 2017. “Understanding the Mirai Botnet.” 26th USENIX Security Symposium (USENIX Security 17) 16: 1093–110。

Apple. 2021a. Boot Process for iPad and iPhone Devices. Apple Platform Security。

Apple. 2021b. Secure Software Updates. Apple Platform Security。

Apple. 2024a. Facial Matching Security. Apple Platform Security。

Apple. 2024b. The Secure Enclave. Apple Platform Security。

Apple Differential Privacy Team. 2017. Learning with Privacy at Scale. Apple Machine Learning Research。

Arifeen, Tooba, Abdus Sami Hassan, and Jeong-A Lee. 2020. “Approximate Triple Modular Redundancy: A Survey.” IEEE Access 8: 139851–67. https://doi.org/10.1109/access.2020.3012673 。

Arivazhagan, Manoj Ghuhan, Vinay Aggarwal, Aaditya Kumar Singh, and Sunav Choudhary. 2019. “Federated Learning with Personalization Layers.” CoRR abs/1912.00818。

Ashkboos, Saleh, Amirkeivan Mohtashami, Maximilian L. Croci, Bo Li, Pashmina Cameron, Martin Jaggi, Dan Alistarh, Torsten Hoefler, and James Hensman. 2024. “QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs.” Advances in Neural Information Processing Systems (NeurIPS), 100213–40. https://doi.org/10.52202/079017-3180 。

Asonov, Dmitri, and Rakesh Agrawal. 2004. “Keyboard Acoustic Emanations.” IEEE Symposium on Security and Privacy, 2004. Proceedings. 2004, 3–11. https://doi.org/10.1109/secpri.2004.1301311 。

Ateniese, G., L. V. Mancini, A. Spognardi, A. Villani, D. Vitali, and G. Felici. 2015. “Hacking Smart Machines with Smarter Ones: How to Extract Meaningful Data from Machine Learning Classifiers.” International Journal of Security and Networks 10 (3): 137. https://doi.org/10.1504/ijsn.2015.071829 。

Avizienis, Algirdas, Jean-Claude Laprie, Brian Randell, and Carl Landwehr. 2004. “Basic Concepts and Taxonomy of Dependable and Secure Computing.” IEEE Transactions on Dependable and Secure Computing 1 (1): 11–33. https://doi.org/10.1109/TDSC.2004.2 。

Aygun, Sercan, Ece Olcay Gunes, and Christophe De Vleeschouwer. 2021. “Efficient and Robust Bitstream Processing in Binarised Neural Networks.” Electronics Letters 57 (5): 219–22. https://doi.org/10.1049/ell2.12045 。

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. 2015. “Neural Machine Translation by Jointly Learning to Align and Translate.” International Conference on Learning Representations (ICLR)。

Bai, Tao, Jinqi Luo, Jun Zhao, Bihan Wen, and Qian Wang. 2021. “Recent Advances in Adversarial Training for Adversarial Robustness.” Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, 4312–21. https://doi.org/10.24963/ijcai.2021/591 。

Bai, Yuntao, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, et al. 2022. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback。

Baldé, Cornelis P, Vanessa Forti, Vanessa Gray, Ruediger Kuehr, and Paul Stegmann. 2017. “The Global e-Waste Monitor 2017: Quantities, Flows and Resources.” United Nations University, International Telecommunication Union, International Solid Waste Association。

Banbury, Colby, Vijay Janapa Reddi, Peter Torelli, Jeremy Holleman, Nat Jeffries, Csaba Kiraly, Pietro Montino, et al. 2021. “MLPerf Tiny Benchmark.” arXiv Preprint。

Bannon, Pete, Ganesh Venkataramanan, Debjit Das Sarma, and Emil Talpes. 2019. “Computer and Redundancy Solution for the Full Self-Driving Computer.” 2019 IEEE Hot Chips 31 Symposium (HCS), 1–22. https://doi.org/10.1109/hotchips.2019.8875645 。

Barenghi, A., G. M. Bertoni, L. Breveglieri, M. Pellicioli, and G. Pelosi. 2010. “Low Voltage Fault Attacks to AES.” 2010 IEEE International Symposium on Hardware-Oriented Security and Trust (HOST), 7–12. https://doi.org/10.1109/hst.2010.5513121 。

Barroso, Luiz André, Urs Hölzle, and Parthasarathy Ranganathan. 2019. The Datacenter as a Computer: Designing Warehouse-Scale Machines. Synthesis Lectures on Computer Architecture. Springer International Publishing. https://doi.org/10.1007/978-3-031-01761-2 。

Basiri, A., N. Behnam, R. de Rooij, L. Hochstein, L. Kosewski, J. Reynolds, and C. Rosenthal. 2016. “Chaos Engineering.” IEEE Software 33 (3): 35–41. https://doi.org/10.1109/ms.2016.60 。

Baumann, R. 2005. “Soft Errors in Advanced Computer Systems.” IEEE Design and Test of Computers 22 (3): 258–66. https://doi.org/10.1109/mdt.2005.69 。

Baylor, Denis, Eric Breck, Heng-Tze Cheng, Noah Fiedel, Chuan Yu Foo, Zakaria Haque, Salem Haykal, et al. 2017. “TFX: A TensorFlow-Based Production-Scale Machine Learning Platform.” Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1387–95. https://doi.org/10.1145/3097983.3098021 。

BBC Future. 2022. How Space Weather Causes Computer Errors. BBC Future。

Beaton, A. E., and J. W. Tukey. 1974. “The Fitting of Power Series, Meaning Polynomials, Illustrated on Band-Spectroscopic Data.” Technometrics 16 (2): 147–85. https://doi.org/10.1080/00401706.1974.10489171 。

Bellamy, Rachel K. E., Kuntal Dey, Michael Hind, Seung Hoffman, Sylvain Houde, Karthikeyan Kannan, Pradeep Lohia, et al. 2019. “AI Fairness 360: An Extensible Toolkit for Detecting and Mitigating Algorithmic Bias.” IBM Journal of Research and Development 63 (4/5): 4:1–15. https://doi.org/10.1147/jrd.2019.2942287 。

Bender, E. M., T. Gebru, A. McMillan-Major, and S. Shmitchell. 2021. “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. https://doi.org/10.1145/3442188.3445922 。

Bengio, Yoshua, Nicholas Léonard, and Aaron Courville. 2013. “Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation.” arXiv Preprint arXiv:1308.3432。

Ben-Nun, Tal, and Torsten Hoefler. 2019. “Demystifying Parallel and Distributed Deep Learning: An in-Depth Concurrency Analysis.” ACM Computing Surveys 52 (4): 1–43. https://doi.org/10.1145/3320060 。

Berger, V. W., and Y. Zhou. 2014. “Wiley StatsRef: Statistics Reference Online.” In Wiley Statsref: Statistics Reference Online. Wiley. https://doi.org/10.1002/9781118445112.stat06558 。

Bernstein, Jeremy, Yu-Xiang Wang, Kamyar Azizzadenesheli, and Animashree Anandkumar. 2018. “signSGD: Compressed Optimisation for Non-Convex Problems.” Proceedings of the 35th International Conference on Machine Learning 80: 560–69。

Beyer, Betsy, Chris Jones, Jennifer Petoff, and Niall Richard Murphy. 2016. Site Reliability Engineering: How Google Runs Production Systems. O’Reilly Media。

Bhagoji, Arjun Nitin, Warren He, Bo Li, and Dawn Song. 2018. “Practical Black-Box Attacks on Deep Neural Networks Using Efficient Query Mechanisms.” In Computer Vision – ECCV 2018. Springer. https://doi.org/10.1007/978-3-030-01258-8_10。

Biega, A. J., P. Potash, H. Daumé, F. Diaz, and M. Finck. 2020. “Operationalizing the Legal Principle of Data Minimization for Personalization.” In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, edited by Jimmy Huang, Yi Chang, Xueqi Cheng, Jaap Kamps, Vanessa Murdock, Ji-Rong Wen, and Yiqun Liu. ACM. https://doi.org/10.1145/3397271.3401034 。

Biggio, Battista, Blaine Nelson, and Pavel Laskov. 2012. “Poisoning Attacks Against Support Vector Machines.” Proceedings of the 29th International Conference on Machine Learning, ICML 2012, Edinburgh, Scotland, UK, June 26 - July 1, 2012。

Binkert, Nathan, Bradford Beckmann, Gabriel Black, Steven K. Reinhardt, Ali Saidi, Arkaprava Basu, Joel Hestness, et al. 2011. “The Gem5 Simulator.” ACM SIGARCH Computer Architecture News 39 (2): 1–7. https://doi.org/10.1145/2024716.2024718 。

Bird, Sarah, Miro Dudı́k, Richard Edgar, Brandon Horn, Roman Lutz, Vanessa Milan, Mehrnoosh Sameki, Hanna Wallach, and Kathleen Walker. 2020. “Fairlearn: A Toolkit for Assessing and Improving Fairness in AI.” Microsoft Technical Report MSR-TR-2020-32。

Birolini, A. 2017. Reliability Engineering: Theory and Practice. 8th ed. Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-662-54209-5 。

Bisong, E. 2019. “Kubeflow and Kubeflow Pipelines.” Kubeflow and Kubeflow Pipelines in Building Machine Learning and Deep Learning Models on Google Cloud Platform. Apress. https://doi.org/10.1007/978-1-4842-4470-8_46。

Black, James R. 1969. “Electromigration–a Brief Survey and Some Recent Results.” IEEE Transactions on Electron Devices 16 (4): 338–47. https://doi.org/10.1109/T-ED.1969.16754 。

Blanchard, Peva, El Mahdi El Mhamdi, Rachid Guerraoui, and Julien Stainer. 2017. “Machine Learning with Adversaries: Byzantine Tolerant Gradient Descent.” Advances in Neural Information Processing Systems, 119–29。

Blog, Netflix Technology. 2017. Innovating Faster on Personalization Algorithms at Netflix Using Interleaving. Netflix Tech Blog。

Bommasani, Rishi, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, et al. 2021. “On the Opportunities and Risks of Foundation Models.” arXiv Preprint arXiv:2108.07258。

Bonawitz, K., H. Eichner, W. Grieskamp, D. Huba, A. Ingerman, V. Ivanov, C. Kiddon, et al. 2019. “Towards Federated Learning at Scale: System Design.” Proceedings of Machine Learning and Systems 3。

Bonawitz, Keith, Vladimir Ivanov, Ben Kreuter, Antonio Marcedone, H. Brendan McMahan, Sarvar Patel, Daniel Ramage, Aaron Segal, and Karn Seth. 2017. “Practical Secure Aggregation for Privacy-Preserving Machine Learning.” Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security, 1175–91. https://doi.org/10.1145/3133956.3133982 。

Bourtoule, Lucas, Varun Chandrasekaran, Christopher A. Choquette-Choo, Hengrui Jia, Adelin Travers, Baiwu Zhang, David Lie, and Nicolas Papernot. 2021. “Machine Unlearning.” 2021 IEEE Symposium on Security and Privacy (SP), 141–59. https://doi.org/10.1109/sp40001.2021.00019 。

Breier, Jakub, Xiaolu Hou, Dirmanto Jap, Lei Ma, Shivam Bhasin, and Yang Liu. 2018. “Practical Fault Attack on Deep Neural Networks.” Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security abs/1806.05859: 2204–6. https://doi.org/10.1145/3243734.3278519 。

Brewer, Eric A. 2000. “Towards Robust Distributed Systems (Abstract).” Proceedings of the Nineteenth Annual ACM Symposium on Principles of Distributed Computing, 7. https://doi.org/10.1145/343477.343502 。

Broadcom Inc. 2025. Broadcom Ships Tomahawk 6: World’s First 102.4 Tbps Switch. Broadcom 新闻稿。

Brown, Tom B., Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, et al. 2020. “Language Models Are Few-Shot Learners.” Advances in Neural Information Processing Systems 33: 1877–901. https://doi.org/10.48550/arxiv.2005.14165 。

Bu, Zhiqi, Jiawen Dong, Qi Long, and Weijie J. Su. 2020. “Deep Learning with Gaussian Differential Privacy.” Harvard Data Science Review 2. https://doi.org/10.1162/99608f92.cfc5dd25 。

Buolamwini, Joy, and Timnit Gebru. 2018. “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification.” Conference on Fairness, Accountability and Transparency, 77–91。

Burns, Brendan, Brian Grant, David Oppenheimer, Eric Brewer, and John Wilkes. 2016. “Borg, Omega, and Kubernetes.” Communications of the ACM 59 (5): 50–57. https://doi.org/10.1145/2890784 。

Bursztein, Elie, Luca Invernizzi, Karel Král, Daniel Moghimi, Jean-Michel Picod, and Marina Zhang. 2024. “Generalized Power Attacks Against Crypto Hardware Using Long-Range Deep Learning.” IACR Transactions on Cryptographic Hardware and Embedded Systems 2024 (3): 472–99. https://doi.org/10.46586/tches.v2024.i3.472-499 。

Bursztein, Elie, and Jean-Michel Picod. 2019. “A Hacker Guide to Deep Learning Based Side Channel Attacks.” In DEF CON 27, edited by DEF CON. Https://elie.net/talk/a-hackerguide-to-deep-learning-based-side-channel-attacks/; DEF CON。

Bushnell, Michael L, and Vishwani D Agrawal. 2002. “Built-in Self-Test.” Essentials of Electronic Testing for Digital, Memory and Mixed-Signal VLSI Circuits 1: 489–548. https://doi.org/10.1007/0-306-47040-3_15。

Buyya, Rajkumar, Anton Beloglazov, and Jemal Abawajy. 2010. “Energy-Efficient Management of Data Center Resources for Cloud Computing: A Vision, Architectural Elements, and Open Challenges.” arXiv Preprint arXiv:1006.0308, 6–17. https://doi.org/10.48550/arXiv.1006.0308 。

Cai, Han, Chuang Gan, Tianzhe Wang, Zhekai Zhang, and Song Han. 2020. “Once-for-All: Train One Network and Specialize It for Efficient Deployment.” International Conference on Learning Representations。

Cai, Han, Chuang Gan, Ligeng Zhu, and Song Han. 2020. “TinyTL: Reduce Activations, Not Trainable Parameters for Efficient on-Device Learning.” Advances in Neural Information Processing Systems 33: 11285–97。

Cai, Han, Ligeng Zhu, and Song Han. 2019. “ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware.” 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019。

Cai, Tianle, Yuhong Li, Zhengyang Geng, Hongwu Peng, Jason D. Lee, Deming Chen, and Tri Dao. 2024. “Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads.” Proceedings of the 41st International Conference on Machine Learning (ICML)。

Calders, Toon, and Sicco Verwer. 2010. “Three Naive Bayes Approaches for Discrimination-Free Classification.” Data Mining and Knowledge Discovery 21 (2): 277–92. https://doi.org/10.1007/s10618-010-0190-x 。

California Legislature. 2023. California Consumer Privacy Act of 2018. California Legislative Information。

Calvo, Rafael A., Dorian Peters, Karina Vold, and Richard M. Ryan. 2020. “Supporting Human Autonomy in AI Systems: A Framework for Ethical Enquiry.” In Ethics of Digital Well-Being. Springer. https://doi.org/10.1007/978-3-030-50585-1_2。

Cao, Yinzhi, and Junfeng Yang. 2015. “Towards Making Systems Forget with Machine Unlearning.” 2015 IEEE Symposium on Security and Privacy, 463–80. https://doi.org/10.1109/sp.2015.35 。

Carlini, N., P. M. 0001, T. Vaidya, Y. Z. 0001, M. Sherr, C. Shields, D. A. W. 0001, and W. Zhou. 2016. “Hidden Voice Commands.” 25th USENIX Security Symposium (USENIX Security 16), 513–30。

Carlini, Nicholas, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, and Eric Wallace. 2023. “Extracting Training Data from Diffusion Models.” 32nd USENIX Security Symposium (USENIX Security 23), 5253–70。

Carlini, Nicholas, and David Wagner. 2017. “Towards Evaluating the Robustness of Neural Networks.” 2017 IEEE Symposium on Security and Privacy (SP), 39–57. https://doi.org/10.1109/sp.2017.49 。

Carlini, N., D. Paleka, K. D. Dvijotham, T. Steinke, J. Hayase, A. F. Cooper, K. Lee, et al. 2024. “Stealing Part of a Production Language Model.” arXiv Preprint arXiv:2403.06634。

Carlini, N., F. Tramer, E. Wallace, M. Jagielski, A. Herbert-Voss, K. Lee, A. Roberts, et al. 2021. “Extracting Training Data from Large Language Models.” 30th USENIX Security Symposium (USENIX Security 21), 2633–50。

Caveness, E., P. S. G. C., Z. Peng, N. Polyzotis, S. Roy, and M. Zinkevich. 2020. “TensorFlow Data Validation: Data Analysis and Validation in Continuous ML Pipelines.” Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data, 2793–96. https://doi.org/10.1145/3318464.3384707 。

Cavoukian, A. 2012. “Privacy by Design: Origins, Meaning, and Prospects for Assuring Privacy and Trust in the Information Era.” Office of the Information and Privacy Commissioner 1: 170–208. https://doi.org/10.4018/978-1-61350-501-4.ch007 。

Cenci, Marcelo Pilotto, Tatiana Scarazzato, Daniel Dotto Munchen, Paula Cristina Dartora, Hugo Marcelo Veit, Andrea Moura Bernardes, and Pablo R. Dias. 2021. “Eco-Friendly Electronics—a Comprehensive Review.” Advanced Materials Technologies 7 (2): 2001263. https://doi.org/10.1002/admt.202001263 。

Center, Pew Research. 2023. What Americans Know about AI, Cybersecurity and Big Tech。

Centers, Google Data. 2023. Efficiency: How We Do It。

Centre for International Governance Innovation. 2023. Who Is Responsible When Autonomous Systems Fail? CIGI 政策文章。

Chandola, Varun, Arindam Banerjee, and Vipin Kumar. 2009. “Anomaly Detection: A Survey.” ACM Computing Surveys 41 (3): 1–58. https://doi.org/10.1145/1541880.1541882 。

Chapelle, Olivier, Thorsten Joachims, Filip Radlinski, and Yisong Yue. 2012. “Large-Scale Validation and Analysis of Interleaved Search Evaluation.” ACM Transactions on Information Systems 30 (1): 1–41. https://doi.org/10.1145/2094072.2094078 。

Chen, C., S. Borgeaud, G. Irving, J.-B. Lespiau, L. Sifre, and J. Jumper. 2023. “Accelerating Large Language Model Decoding with Speculative Sampling.” arXiv Preprint arXiv:2302.01318。

Chen, Chaofan, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, and Jonathan Su. 2019. “This Looks Like That: Deep Learning for Interpretable Image Recognition.” In Advances in Neural Information Processing Systems 32: Annual Conference on Neural Information Processing Systems 2019, NeurIPS 2019, December 8-14, 2019, Vancouver, BC, Canada, edited by Hanna M. Wallach, Hugo Larochelle, Alina Beygelzimer, Florence d’Alché-Buc, Emily B. Fox, and Roman Garnett. Curran Associates。

Chen, H.-W. 2006. “Gallium, Indium, and Arsenic Pollution of Groundwater from a Semiconductor Manufacturing Area of Taiwan.” Bulletin of Environmental Contamination and Toxicology 77 (2): 289–96. https://doi.org/10.1007/s00128-006-1062-3 。

Chen, Tianqi, Bing Xu, Chiyuan Zhang, and Carlos Guestrin. 2016. “Training Deep Nets with Sublinear Memory Cost.” arXiv Preprint arXiv:1604.06174。

Chen, Ting, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. “A Simple Framework for Contrastive Learning of Visual Representations.” Proceedings of the 37th International Conference on Machine Learning, ICML’20, vol. 119: 1597–607。

Chen, Zitao, Niranjhana Narayanan, Bo Fang, Guanpeng Li, Karthik Pattabiraman, and Nathan DeBardeleben. 2020. “TensorFI: A Flexible Fault Injection Framework for TensorFlow Applications.” 2020 IEEE 31st International Symposium on Software Reliability Engineering (ISSRE), 426–35. https://doi.org/10.1109/issre5003.2020.00047 。

Choquette, Jack. 2023. “NVIDIA Hopper H100 GPU: Scaling Performance.” IEEE Micro 43 (3): 9–17. https://doi.org/10.1109/mm.2023.3256796 。

Chouldechova, Alexandra. 2017. “Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments.” Big Data 5 (2): 153–63. https://doi.org/10.1089/big.2016.0047 。

Chowdhery, Aakanksha, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, et al. 2022. “PaLM: Scaling Language Modeling with Pathways.” arXiv Preprint arXiv:2204.02311。

Christiano, P. F., J. Leike, T. B. Brown, M. Martic, S. Legg, and D. Amodei. 2017. “Deep Reinforcement Learning from Human Preferences.” In Advances in Neural Information Processing Systems 30: Annual Cycle on Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 30, December 4-9, 2017, Long Beach, CA, USA, edited by Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, and Roman Garnett. Curran Associates。

Chung, Jae-Won, Yile Gu, Insu Jang, Luoxi Meng, Nikhil Bansal, and Mosharaf Chowdhury. 2023. “Reducing Energy Bloat in Large Model Training.” Proceedings of the ACM SIGOPS 30th Symposium on Operating Systems Principles abs/2312.06902: 144–59. https://doi.org/10.1145/3694715.3695970 。

Clos, C. 1953. “A Study of Non-Blocking Switching Networks.” Bell System Technical Journal 32 (2): 406–24. https://doi.org/10.1002/j.1538-7305.1953.tb01433.x 。

Cloud Native Computing Foundation. 2024. Kubernetes: Production-Grade Container Orchestration。

Cloudflare. 2019. Details of the Cloudflare Outage on July 2, 2019. Cloudflare 事故报告。

CNBC. 2023a. California DMV Suspends Cruise’s Self-Driving Car Permits. CNBC 新闻文章。

CNBC. 2023b. Cruise Under NHTSA Probe into Autonomous Driving Pedestrian Injuries. CNBC 新闻文章。

Cohen, Jeremy, Elan Rosenfeld, and Zico Kolter. 2019. “Certified Adversarial Robustness via Randomized Smoothing.” Proceedings of the 36th International Conference on Machine Learning, Proceedings of machine learning research, vol. 97: 1310–20。

Constantinescu, C. 2008. “Intermittent Faults and Effects on Reliability of Integrated Circuits.” 2008 Annual Reliability and Maintainability Symposium, 370–74. https://doi.org/10.1109/rams.2008.4925824 。

Cooper, Tom, Suzanne Fallender, Joyann Pafumi, Jon Dettling, Sebastien Humbert, and Lindsay Lessard. 2011. “A Semiconductor Company’s Examination of Its Water Footprint Approach.” Proceedings of the 2011 IEEE International Symposium on Sustainable Systems and Technology, 1–6. https://doi.org/10.1109/issst.2011.5936865 。

coreboot contributors. 2026a. coreboot。

coreboot contributors. 2026b. vboot: Verified Boot Support。

Courbariaux, Matthieu, Itay Hubara, Daniel Soudry, Ran El-Yaniv, and Yoshua Bengio. 2016. “Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1.” arXiv Preprint arXiv:1602.02830。

Covington, Paul, Jay Adams, and Emre Sargin. 2016. “Deep Neural Networks for YouTube Recommendations.” Proceedings of the 10th ACM Conference on Recommender Systems, 191–98. https://doi.org/10.1145/2959100.2959190 。

Culler, David, Richard Karp, David Patterson, Abhijit Sahay, Klaus Erik Schauser, Eunice Santos, Ramesh Subramonian, and Thorsten von Eicken. 1993. “LogP: Towards a Realistic Model of Parallel Computation.” ACM SIGPLAN Notices 28 (7): 1–12. https://doi.org/10.1145/173284.155333 。

Cyberspace Administration of China, National Development and Reform Commission, Ministry of Education, Ministry of Science and Technology, Ministry of Industry and Information Technology, Ministry of Public Security, and National Radio and Television Administration. 2023. Interim Measures for Administration of Generative Artificial Intelligence Services. 国务院公报。

Daly, J. T. 2006. “A Higher Order Estimate of the Optimum Checkpoint Interval for Restart Dumps.” Future Generation Computer Systems 22 (3): 303–12. https://doi.org/10.1016/j.future.2004.11.016 。

Dao, T., D. Y. Fu, S. Ermon, A. Rudra, and C. Ré. 2022. “FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness.” Advances in Neural Information Processing Systems 35 35: 16344–59. https://doi.org/10.52202/068431-1189 。

Dao, Tri. 2023. “FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning.” arXiv Preprint arXiv:2307.08691。

Dastin, Jeffrey. 2018. “Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women.” Reuters。

Databricks. 2026. Mosaic Streaming: Main Concepts. Databricks Mosaic AI Training Documentation。

Dayarathna, Miyuru, Yonggang Wen, and Rui Fan. 2016. “Data Center Energy Consumption Modeling: A Survey.” IEEE Communications Surveys &Amp; Tutorials 18 (1): 732–94. https://doi.org/10.1109/comst.2015.2481183 。

De, Soham, Leonard Berrada, Jamie Hayes, Samuel L. Smith, and Borja Balle. 2022. “Unlocking High-Accuracy Differentially Private Image Classification Through Scale.” arXiv Preprint arXiv:2204.13650。

Dean, Jeff. 2024. Exciting Directions in Systems for Machine Learning. MLSys 2024 邀请演讲。

Dean, Jeffrey, and Luiz André Barroso. 2013. “The Tail at Scale.” Communications of the ACM 56 (2): 74–80. https://doi.org/10.1145/2408776.2408794 。

Dean, Jeffrey, Greg Corrado, Rajat Monga, Kai Chen 0010, Matthieu Devin, Quoc V. Le, Mark Z. Mao, et al. 2012. “Large Scale Distributed Deep Networks.” In Advances in Neural Information Processing Systems (NeurIPS), edited by Peter L. Bartlett, Fernando C. N. Pereira, Christopher J. C. Burges, Léon Bottou, and Kilian Q. Weinberger, vol. 25. Curran Associates。

DeepSpeed Developers. 2026a. DeepSpeed Model Checkpointing. DeepSpeed 文档。

DeepSpeed Developers. 2026b. DeepSpeed Universal Checkpointing with DeepSpeed: A Practical Guide. DeepSpeed 教程。

Dell Technologies. 2026. Data Center Power and Cooling Solutions。

Dennard, Robert H., Frank H. Gaensslen, Hwa-Nien Yu, Victor L. Rideout, Elias Bassous, and Antoine R. LeBlanc. 1974. “Design of Ion-Implanted MOSFET’s with Very Small Physical Dimensions.” IEEE J. Solid-State Circuits 9 (5): 256–68. https://doi.org/10.1109/jssc.1974.1050511 。

Department for Education, and Ofqual. 2020. GCSE and A Level Students to Receive Centre Assessment Grades. GOV.UK 新闻稿。

Dettmers, Tim, Mike Lewis, Younes Belkada, and Luke Zettlemoyer. 2022. “LLM.int8(): 8-Bit Matrix Multiplication for Transformers at Scale.” Advances in Neural Information Processing Systems 35, 30318–32. https://doi.org/10.52202/068431-2198 。

Devlin, Jacob, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. “BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding.” Proceedings of the 2019 Conference of the North, 4171–86. https://doi.org/10.18653/v1/n19-1423 。

Diao, Enmao, Jie Ding, and Vahid Tarokh. 2023. “Pruning and Sparse Training for on-Device Neural Network Optimization.” IEEE Transactions on Mobile Computing 22 (8): 4567–80。

Dixit, H. D., S. Pendharkar, M. Beadon, C. Mason, T. Chakravarthy, B. Muthiah, and S. Sankar. 2021. Silent Data Corruptions at Scale. arXiv preprint arXiv:2102.11245。

Dodge, Jesse, Taylor Prewitt, Remi Tachet des Combes, Erika Odmark, Roy Schwartz, Emma Strubell, Alexandra Sasha Luccioni, Noah A. Smith, Nicole DeCario, and Will Buchanan. 2022. “Measuring the Carbon Intensity of AI in Cloud Instances.” 2022 ACM Conference on Fairness Accountability and Transparency, 1877–94. https://doi.org/10.1145/3531146.3533234 。

Du, Nan, Yanping Huang, Andrew M. Dai, Simon Tong, Dmitry Lepikhin, Yuanzhong Xu, Maxim Krikun, et al. 2022. “GLaM: Efficient Scaling of Language Models with Mixture-of-Experts.” In Proceedings of the 39th International Conference on Machine Learning, edited by Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato, vol. 162. Proceedings of Machine Learning Research. PMLR。

Dubey, Abhimanyu, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, et al. 2024. The Llama 3 Herd of Models. arXiv preprint arXiv:2407.21783。

Dutta, Sanghamitra, Gauri Joshi, Soumyadip Ghosh, Parijat Dube, and Priya Nagpurkar. 2018. “Slow and Stale Gradients Can Win the Race: Error-Runtime Trade-Offs in Distributed SGD.” Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics 84: 803–12。

Dwork, Cynthia, Moritz Hardt, Toniann Pitassi, Omer Reingold, and Richard Zemel. 2012. “Fairness Through Awareness.” Proceedings of the 3rd Innovations in Theoretical Computer Science Conference, 214–26. https://doi.org/10.1145/2090236.2090255 。

Dwork, Cynthia, Frank McSherry, Kobbi Nissim, and Adam Smith. 2006. “Calibrating Noise to Sensitivity in Private Data Analysis.” In Theory of Cryptography Conference (TCC), edited by Shai Halevi and Tal Rabin, vol. 3876. Lecture Notes in Computer Science. Springer Berlin Heidelberg. https://doi.org/10.1007/11681878_14。

Dwork, Cynthia, and Aaron Roth. 2014. “The Algorithmic Foundations of Differential Privacy.” Foundations and Trends® in Theoretical Computer Science, Foundations and trends in theoretical computer science, vol. 9 (3-4): 211–487. https://doi.org/10.1561/0400000042 。

Ebrahimi, K., G. F. Jones, and A. S. Fleischer. 2014. “A Review of Data Center Cooling Technology, Operating Conditions and the Corresponding Low-Grade Waste Heat Recovery Opportunities.” Renewable and Sustainable Energy Reviews 31: 622–38. https://doi.org/10.1016/j.rser.2013.12.007 。

Eckles, Dean, Brian Karrer, and Johan Ugander. 2017. “Design and Analysis of Experiments in Networks: Reducing Bias from Interference.” Journal of Causal Inference 5 (1): 1–23. https://doi.org/10.1515/jci-2015-0021 。

Egwutuoha, I. P., D. Levy, B. Selic, and S. Chen. 2013. “A Survey of Fault Tolerance Mechanisms and Checkpoint/Restart Implementations for High Performance Computing Systems.” The Journal of Supercomputing 65 (3): 1302–26. https://doi.org/10.1007/s11227-013-0884-0 。

Elsken, Thomas, Jan Hendrik Metzen, and Frank Hutter. 2019. “Neural Architecture Search.” In The Springer Series on Challenges in Machine Learning, vol. 20. Springer International Publishing. https://doi.org/10.1007/978-3-030-05318-5_3。

Engineering, M. 2016. Introducing FBLearner Flow: Facebook’s AI Backbone. Engineering at Meta Blog。

Engineering, S. 2019. The Winding Road to Better Machine Learning Infrastructure Through TensorFlow Extended and Kubeflow. Spotify Engineering Blog。

Environment and Climate Change Canada. 2026. Emission Factors and Reference Values。

Erlang, Agner Krarup. 1909. “The Theory of Probabilities and Telephone Conversations.” Nyt Tidsskrift for Matematik B 20: 33–39。

Ethernet Alliance. 2025. 2025 Ethernet Roadmap. Ethernet Alliance 路线图。

European Data Protection Board. 2018. Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679。

European Parliament and Council of the European Union. 2024. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 Laying down Harmonised Rules on Artificial Intelligence (AI Act). Official Journal of the European Union, L 2024/1689。

European Parliament, and Council of the European Union. 2016. Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016. Official Journal of the European Union。

Evans, Richard, and Jim Gao. 2016. DeepMind AI Reduces Google Data Centre Cooling Bill by 40%. DeepMind Blog。

Executive Office of the President. 2023. Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. Executive Order 14110, 88 FR 75191。

Executive Office of the President. 2025a. Initial Rescissions of Harmful Executive Orders and Actions. Executive Order 14148, 90 FR 8237。

Executive Office of the President. 2025b. Removing Barriers to American Leadership in Artificial Intelligence. Executive Order 14179。

Executive Office of the President. 2026. Promoting Advanced Artificial Intelligence Innovation and Security. Executive Order 14409, 91 FR 34565。

Eykholt, Kevin, Ivan Evtimov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, Tadayoshi Kohno, and Dawn Song. 2017. “Robust Physical-World Attacks on Deep Learning Models.” ArXiv Preprint abs/1707.08945 (July)。

Eykholt, K., I. Evtimov, E. Fernandes, B. Li, A. Rahmati, C. Xiao, A. Prakash, T. Kohno, and D. Song. 2018. “Robust Physical-World Attacks on Deep Learning Visual Classification.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition 1707.08945: 1625–34. https://doi.org/10.1109/cvpr.2018.00175 。

Farwell, J. P., and R. Rohozinski. 2011. “Stuxnet and the Future of Cyber War.” Survival 53 (1): 23–40. https://doi.org/10.1080/00396338.2011.555586 。

Federal Aviation Administration. 2015. Airworthiness Directive: Boeing 787 Generator Control Units Failsafe Reset. FAA Airworthiness Directive 2015-10066。

Federal Trade Commission. 2021. Nixing the Fix: An FTC Report to Congress on Repair Restrictions. Federal Trade Commission。

Fedus, William, Barret Zoph, and Noam Shazeer. 2022. “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity.” Journal of Machine Learning Research 23 (120): 1–39. https://doi.org/10.1145/2810103.2813677 。

Feldman, M., S. A. Friedler, J. Moeller, C. Scheidegger, and S. Venkatasubrarian. 2015. “Certifying and Removing Disparate Impact.” Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 259–68. https://doi.org/10.1145/2783258.2783311 。

Finn, Chelsea, Pieter Abbeel, and Sergey Levine. 2017. “Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks.” Proceedings of the 34th International Conference on Machine Learning (ICML)。

Forti, V., C. P. Baldé, R. Kuehr, and G. Bel. 2020. The Global e-Waste Monitor 2020: Quantities, Flows and the Circular Economy Potential. United Nations University/United Nations Institute for Training; Research, International Telecommunication Union,; International Solid Waste Association。

Frantar, Elias, Saleh Ashkboos, Torsten Hoefler, and Dan Alistarh. 2023. “GPTQ: Accurate Post-Training Quantization for Generative Pre-Trained Transformers.” In CoRR, abs/2210.17323. https://doi.org/10.48550/ARXIV.2210.17323 。

Fredrikson, Matt, Somesh Jha, and Thomas Ristenpart. 2015. “Model Inversion Attacks That Exploit Confidence Information and Basic Countermeasures.” Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security, 1322–33. https://doi.org/10.1145/2810103.2813677 。

Friedman, B. 1996. “Value-Sensitive Design.” Interactions 3 (6): 16–23. https://doi.org/10.1145/242485.242493 。

Gal, Yarin, and Zoubin Ghahramani. 2016. “Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning.” Proceedings of the 33rd International Conference on Machine Learning (ICML) 48: 1050–59。

Gama, João, Indrė Žliobaitė, Albert Bifet, Mykola Pechenizkiy, and Abdelhamid Bouchachia. 2014. “A Survey on Concept Drift Adaptation.” ACM Computing Surveys 46 (4): 1–37. https://doi.org/10.1145/2523813 。

Gandolfi, Karine, Christophe Mourtel, and Francis Olivier. 2001. “Electromagnetic Analysis: Concrete Results.” In Cryptographic Hardware and Embedded Systems — CHES 2001. Springer Berlin Heidelberg. https://doi.org/10.1007/3-540-44709-1_21。

Gangidi, Adi, Rui Miao, Sandeep Hebbani, Gaya Nagarajan, Omar Baldonado, Lixin Gao, Hany Morsy Goes, et al. 2024. “RDMA over Ethernet for Distributed AI Training at Meta Scale.” Proceedings of the ACM SIGCOMM 2024 Conference, 56–69. https://doi.org/10.1145/3651890.3672233 。

Gao, J. 2014. Machine Learning Applications for Data Center Optimization. Google; Google White Paper。

Gao, Y., S. F. Al-Sarawi, and D. Abbott. 2020. “Physical Unclonable Functions.” Nature Electronics 3 (2): 81–91. https://doi.org/10.1038/s41928-020-0372-5 。

Gassend, Blaise, Dwaine Clarke, Marten van Dijk, and Srinivas Devadas. 2002. “Silicon Physical Random Functions.” Proceedings of the 9th ACM Conference on Computer and Communications Security, 148–60. https://doi.org/10.1145/586110.586132 。

Gebru, Timnit, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, and Kate Crawford. 2021. “Datasheets for Datasets.” Communications of the ACM 64 (12): 86–92. https://doi.org/10.1145/3458723.3458723 。

Geiger, Atticus, Hanson Lu, Thomas Icard, and Christopher Potts. 2021. “Causal Abstractions of Neural Networks.” In Advances in Neural Information Processing Systems 34: Annual Conference on Neural Information Processing Systems 2021, NeurIPS 2021, December 6-14, 2021, Virtual, edited by Marc’Aurelio Ranzato, Alina Beygelzimer, Yann N. Dauphin, Percy Liang, and Jennifer Wortman Vaughan. Curran Associates。

Genkin, Daniel, Adi Shamir, and Eran Tromer. 2017. “Acoustic Cryptanalysis.” Journal of Cryptology 30: 392–443. https://doi.org/10.1007/s00145-015-9224-2 。

Gentry, C. 2009. “Fully Homomorphic Encryption Using Ideal Lattices.” Proceedings of the Forty-First Annual ACM Symposium on Theory of Computing, 169–78. https://doi.org/10.1145/1536414.1536440 。

Ghodsi, Ali, Matei Zaharia, Benjamin Hindman, Andy Konwinski, Scott Shenker, and Ion Stoica. 2011. “Dominant Resource Fairness: Fair Allocation of Multiple Resource Types.” 8th USENIX Symposium on Networked Systems Design and Implementation (NSDI 11), 323–36。

Gholami, Amir, Sehoon Kim, Zhen Dong, Zhewei Yao, Michael W. Mahoney, and Kurt Keutzer. 2021. “A Survey of Quantization Methods for Efficient Neural Network Inference.” arXiv Preprint arXiv:2103.13630 abs/2103.13630: 291–326. https://doi.org/10.1201/9781003162810-13 。

Gibiansky, A. 2017. Bringing HPC Techniques to Deep Learning. Baidu Research Technical Blog。

Gilbert, Seth, and Nancy Lynch. 2002. “Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services.” ACM SIGACT News 33 (2): 51–59. https://doi.org/10.1145/564585.564601 。

GitLab. 2017. Postmortem of Database Outage of January 31. GitLab 事后分析。

Gnad, D. R. E., F. Oboril, and M. B. Tahoori. 2017. “Voltage Drop-Based Fault Attacks on FPGAs Using Valid Bitstreams.” 2017 27th International Field Programmable Logic and Applications (FPL), 1–7. https://doi.org/10.23919/fpl.2017.8056840 。

Gomez-Uribe, Carlos A., and Neil Hunt. 2015. “The Netflix Recommender System: Algorithms, Business Value, and Innovation.” ACM Transactions on Management Information Systems 6 (4): 1–19. https://doi.org/10.1145/2843948 。

Goncalves, A., P. Ray, B. Soper, J. Stevens, L. Coyle, and A. P. Sales. 2020. “Generation and Evaluation of Synthetic Patient Data.” BMC Medical Research Methodology 20 (1): 1–40. https://doi.org/10.1186/s12874-020-00977-1 。

Goodfellow, I. J., J. Shlens, and C. Szegedy. 2014. “Explaining and Harnessing Adversarial Examples.” ICLR 3。

Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. 2016. Deep Learning. MIT Press。

Google. 2024. ShieldGemma: Generative AI Content Moderation Based on Gemma. Google AI for Developers documentation。

Google Cloud. 2026. About Cloud Storage Objects. Google Cloud Documentation。

Government of Ireland. 2022. Government Statement on the Role of Data Centres in Ireland’s Enterprise Strategy. 政府政策声明。

Goyal, Priya, Piotr Dollár, Ross Girshick, Pieter Noordhuis, Lukasz Wesolowski, Aapo Kyrola, Andrew Tulloch, Yangqing Jia, and Kaiming He. 2017. “Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour.” arXiv Preprint arXiv:1706.02677 abs/1706.02677。

Gräfe, Ralf, Qutub Syed Sha, Florian Geissler, and Michael Paulitsch. 2023. “Large-Scale Application of Fault Injection into PyTorch Models -an Extension to PyTorchFI for Validation Efficiency.” 2023 53rd Annual IEEE/IFIP International Conference on Dependable Systems and Networks - Supplemental Volume (DSN-s), 56–62. https://doi.org/10.1109/dsn-s58398.2023.00025 。

Graham, R. L., D. Bureddy, P. Lui, H. Rober, G. Bloch, G. Shainer, J. Poole, et al. 2020. “Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) Streaming-Aggregation Hardware Design and Evaluation.” International Conference on High Performance Computing, 41–59. https://doi.org/10.1007/978-3-030-50743-5_3。

Gray, J. N. 1978. “Notes on Data Base Operating Systems.” In Operating Systems: An Advanced Course. Springer Berlin Heidelberg. https://doi.org/10.3-540-08755-9_9。

Greshake, Kai, Sahar Abdelnabi, Shailesh Mishra, Christoph Endres, Thorsten Holz, and Mario Fritz. 2023. “Not What You’ve Signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection.” Proceedings of the 16th ACM Workshop on Artificial Intelligence and Security, 79–90. https://doi.org/10.1145/3605764.3623985 。

Grossman, E. 2007. High Tech Trash: Digital Devices, Hidden Toxics, and Human Health. Island press。

Gu, J., M. Chowdhury, K. G. Shin, Y. Zhu, M. Jeon, J. Qian, H. H. Liu, and C. Guo. 2019. “Tiresias: A GPU Cluster Manager for Distributed Deep Learning.” Proceedings of the 16th USENIX Symposium on Networked Systems Design and Implementation (NSDI ’19), 485–500。

Gu, Tianyu, Brendan Dolan-Gavitt, and Siddharth Garg. 2017. “BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain.” arXiv Preprint arXiv:1708.06733。

Guo, Chuanxiong, Haitao Wu, Zhong Deng, Gaurav Soni, Jianxi Ye, Jitendra Padhye, and Marina Lipshteyn. 2016. “RDMA over Commodity Ethernet at Scale.” Proceedings of the 2016 ACM SIGCOMM Conference, 202–15. https://doi.org/10.1145/2934872.2934908 。

Gupta, Maanak, Charankumar Akiri, Kshitiz Aryal, Eli Parker, and Lopamudra Praharaj. 2023. “From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy.” IEEE Access 11: 80218–45. https://doi.org/10.1109/access.2023.3300381 。

Gupta, Udit, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks, and Carole-Jean Wu. 2022. “Chasing Carbon: The Elusive Environmental Footprint of Computing.” IEEE Micro 42 (4): 37–47. https://doi.org/10.1109/MM.2022.3163226 。

Gupta, Udit, Carole-Jean Wu, Xiaodong Wang, Maxim Naumov, Brandon Reagen, David Brooks, Bradford Cottel, et al. 2020. “The Architectural Implications of Facebook’s DNN-Based Personalized Recommendation.” 2020 IEEE International Symposium on High Performance Computer Architecture (HPCA), 488–501. https://doi.org/10.1109/HPCA47549.2020.00047 。

Gustafson, John L. 1988. “Reevaluating Amdahl’s Law.” Communications of the ACM 31 (5): 532–33. https://doi.org/10.1145/42411.42415 。

Hamming, R. W. 1950. “Error Detecting and Error Correcting Codes.” Bell System Technical Journal 29 (2): 147–60. https://doi.org/10.1002/j.1538-7305.1950.tb00463.x 。

Han, Song, Jeff Pool, John Tran, and William J. Dally. 2015. “Learning Both Weights and Connections for Efficient Neural Networks.” Advances in Neural Information Processing Systems 28 (NeurIPS 2015), 1135–43。

Hard, Andrew, Kanishka Rao, Rajiv Mathews, Swaroop Ramaswamy, Françoise Beaufays, Sean Augenstein, Hubert Eichner, Chloé Kiddon, and Daniel Ramage. 2018. “Federated Learning for Mobile Keyboard Prediction.” arXiv Preprint arXiv:1811.03604。

Hardt, Moritz, Eric Price, and Nathan Srebro. 2016. “Equality of Opportunity in Supervised Learning.” Advances in Neural Information Processing Systems 29: 3315–23。

Hayes, T. L., K. Kafle, R. Shrestha, M. Acharya, and C. Kanan. 2020. “REMIND Your Neural Network to Prevent Catastrophic Forgetting.” In Computer Vision – ECCV 2020. Springer. https://doi.org/10.1007/978-3-030-58598-3_28。

Hazelwood, Kim, Sarah Bird, David Brooks, Soumith Chintala, Utku Diril, Dmytro Dzhulgakov, Mohamed Fawzy, et al. 2018. “Applied Machine Learning at Facebook: A Datacenter Infrastructure Perspective.” 2018 IEEE International Symposiumon High Performance Computer Architecture (HPCA), 620–29. https://doi.org/10.1109/hpca.2018.00059 。

He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. “Deep Residual Learning for Image Recognition.” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–78. https://doi.org/10.1109/cvpr.2016.90 。

He, K., X. Chen, S. Xie, Y. Li, P. Dollár, and R. Girshick. 2021. “Masked Autoencoders Are Scalable Vision Learners.” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 18: 15979–88. https://doi.org/10.1109/cvpr52688.2022.01553 。

He, Yi, Prasanna Balaprakash, and Yanjing Li. 2020. “FIdelity: Efficient Resilience Analysis Framework for Deep Learning Accelerators.” 2020 53rd Annual IEEE/ACM International Symposium on Microarchitecture (MICRO), 270–81. https://doi.org/10.1109/micro50266.2020.00033 。

He, Yi, Mike Hutton, Steven Chan, Robert De Gruijl, Rama Govindaraju, Nishant Patil, and Yanjing Li. 2023. “Understanding and Mitigating Hardware Failures in Deep Learning Training Systems.” Proceedings of the 50th Annual International Symposium on Computer Architecture, 1–16. https://doi.org/10.1145/3579371.3589105 。

Hébert-Johnson, U., M. P. Kim, O. Reingold, and G. N. Rothblum. 2018. “Multicalibration: Calibration for the (Computationally-Identifiable) Masses.” In Proceedings of the 35th International Conference on Machine Learning, ICML 2018, Stockholmsmässan, Stockholm, Sweden, July 10-15, 2018, edited by Jennifer G. Dy and Andreas Krause, vol. 80. Proceedings of Machine Learning Research. PMLR。

Henderson, Peter, Jieru Hu, Joshua Romoff, Emma Brunskill, Dan Jurafsky, and Joelle Pineau. 2020. “Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning.” CoRR abs/2002.05651 (248): 1–43. https://doi.org/10.48550/arxiv.2002.05651 。

Hendrycks, Dan, and Thomas Dietterich. 2019. “Benchmarking Neural Network Robustness to Common Corruptions and Perturbations.” arXiv Preprint arXiv:1903.12261。

Hennessy, J. L., and D. A. Patterson. 2011. Computer Architecture: A Quantitative Approach. Morgan Kaufmann。

Hennessy, John L., and David A. Patterson. 2019. “A New Golden Age for Computer Architecture.” Communications of the ACM 62 (2): 48–60. https://doi.org/10.1145/3282307 。

Hermann, Jeremy, and Mike Del Balso. 2017. Meet Michelangelo: Uber’s Machine Learning Platform. Uber Engineering Blog。

Himmelstein, Gracie, David Bates, and Li Zhou. 2022. “Examination of Stigmatizing Language in the Electronic Health Record.” JAMA Network Open 5 (1): e2144967. https://doi.org/10.1001/jamanetworkopen.2021.44967 。

Hinton, G. E., N. Srivastova, A. Krizhevsky, I. Sutskever, and R. R. Salakhutdinov. 2012. “Improving Neural Networks by Preventing Co-Adaptation of Feature Detectors.” arXiv Preprint arXiv:1207.0580。

Hinton, Geoffrey, Oriol Vinyals, and Jeff Dean. 2015. “Distilling the Knowledge in a Neural Network.” arXiv Preprint。

Ho, Qirong, James Cipar, Henggang Cui, Seunghak Lee, Jin Kyu Kim, Phillip B. Gibbons, Garth A. Gibson, Greg Ganger, and Eric P. Xing. 2013. “More Effective Distributed ML via a Stale Synchronous Parallel Parameter Server.” Advances in Neural Information Processing Systems 26。

Hockney, Roger W. 1994. “The Communication Challenge for MPP: Intel Paragon and Meiko CS-2.” Parallel Computing 20 (3): 389–98. https://doi.org/10.1016/s0167-8191(06)80021-9。

Hoffmann, Jordan, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, et al. 2022. “Training Compute-Optimal Large Language Models.” Advances in Neural Information Processing Systems 35 35: 30016–30. https://doi.org/10.52202/068431-2176 。

Horovod Developers. 2026. Elastic Horovod. Horovod 文档。

Horowitz, Mark. 2014. “1.1 Computing’s Energy Problem (and What We Can Do about It).” 2014 IEEE International Solid-State Circuits Conference Digest of Technical Papers (ISSCC), 10–14. https://doi.org/10.1109/isscc.2014.6757323 。

Hosseini, Hossein, Sreeram Kannan, Baosen Zhang, and Radha Poovendran. 2017. “Deceiving Google’s Perspective API Built for Detecting Toxic Comments.” arXiv Preprint arXiv:1702.08138, ahead of print. https://doi.org/10.48550/arXiv.1702.08138 。

Houlsby, Neil, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Chloé de Laroussilhe, Andrea Gesmundo, Mohammad Attariyan, and Sylvain Gelly. 2019. “Parameter-Efficient Transfer Learning for NLP.” International Conference on Machine Learning, 2790–99。

Howard, A. G., M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam. 2017. “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications.” CoRR abs/1704.04861。

Hsiao, Yu-Shun, Zishen Wan, Tianyu Jia, Radhika Ghosal, Abdurahman Mahmoud, Arijit Raychowdhury, David Brooks, Gu-Yeon Wei, and Vijay Janapa Reddi. 2023. “MAVFI: An End-to-End Fault Analysis Framework with Anomaly Detection and Recovery for Micro Aerial Vehicles.” 2023 Design, Automation &Amp; Test in Europe Conference &Amp; Exhibition (DATE), 1–6. https://doi.org/10.23919/date56975.2023.10137246 。

Hsu, Liang-Ching, Ching-Yi Huang, Yen-Hsun Chuang, Ho-Wen Chen, Ya-Ting Chan, Heng Yi Teah, Tsan-Yao Chen, Chiung-Fen Chang, Yu-Ting Liu, and Yu-Min Tzou. 2016. “Accumulation of Heavy Metals and Trace Elements in Fluvial Sediments Received Effluents from Traditional and Semiconductor Industries.” Scientific Reports 6 (1): 34250。

Hu, Edward J., Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. 2021. “LoRA: Low-Rank Adaptation of Large Language Models.” arXiv Preprint arXiv:2106.09685。

Hutter, Michael, Jorn-Marc Schmidt, and Thomas Plos. 2009. “Contact-Based Fault Injections and Power Analysis on RFID Tags.” 2009 European Conference on Circuit Theory and Design, 409–12. https://doi.org/10.1109/ecctd.2009.5275012 。

Iandola, Forrest N., Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, and Kurt Keutzer. 2016. “SqueezeNet: AlexNet-Level Accuracy with 50x Fewer Parameters and <0.5MB Model Size.” ArXiv Preprint abs/1602.07360。

IEEE 802.1 Working Group. 2018. IEEE Standard for Local and Metropolitan Area Networks—Secure Device Identity. IEEE Std 802.1AR-2018。

IEEE Standards Association. 2019. IEEE 754-2019: Standard for Floating-Point Arithmetic. https://doi.org/10.1109/IEEESTD.2019.8766229 。

Illinois General Assembly. 2020. Artificial Intelligence Video Interview Act (Public Act 101-0260). 820 ILCS 42, effective January 1, 2020。

Inan, H., K. Upasani, J. Chi, R. Rungta, K. Iyer, Y. Mao, M. Tontchev, et al. 2023. “Llama Guard: LLM-Based Input-Output Safeguard for Human-AI Conversations.” arXiv Preprint arXiv:2312.06674。

Incorporated, Framework Computer. 2022. Modular Laptops: A New Approach to Sustainable Computing。

InfiniBand Trade Association. 2000. InfiniBand Architecture Specification Volume 1. InfiniBand Trade Association。

Institute, World Resources, and World Business Council for Sustainable Development. 2023. Greenhouse Gas Protocol: Corporate Standard。

International Energy Agency. 2023. World Energy Outlook 2023. IEA. https://doi.org/10.1787/827374a6-en 。

International Energy Agency. 2024a. Data Centre Electricity Demand Estimates as a Share of Total Electricity Demand in Ireland and Virginia, 2023. IEA 图表。

International Energy Agency. 2024b. Emissions Factors 2024。

International Organization for Standardization. 2006a. ISO 14040:2006 Environmental Management – Life Cycle Assessment – Principles and Framework. ISO 标准。

International Organization for Standardization. 2006b. ISO 14044:2006 Environmental Management – Life Cycle Assessment – Requirements and Guidelines. ISO 标准。

International Organization for Standardization, and International Electrotechnical Commission. 2023a. ISO/IEC 23894:2023 Information Technology – Artificial Intelligence – Guidance on Risk Management. ISO/IEC 标准。

International Organization for Standardization, and International Electrotechnical Commission. 2023b. ISO/IEC 42001:2023 Information Technology – Artificial Intelligence – Management System. ISO/IEC 标准。

Irimia-Vladu, M. 2014. “‘Green’ Electronics: Biodegradable and Biocompatible Materials and Devices for Sustainable Future.” Chemical Society Reviews 43 (2): 588–610. https://doi.org/10.1039/c3cs60235d 。

Jacob, Benoit, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, and Dmitry Kalenichenko. 2018. “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2704–13. https://doi.org/10.1109/cvpr.2018.00286 。

Jagielski, Matthew, Giorgio Severi, Niklas Pousette Harger, and Alina Oprea. 2021. “Subpopulation Data Poisoning Attacks.” Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security, 3104–22. https://doi.org/10.1145/3460120.3485368 。

Jain, R. 1991. The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling. John Wiley & Sons。

Janardhan, Santosh. 2021. More Details about the October 4 Outage. Meta Engineering 事后分析。

Jeaugey, Sylvain. 2017. NCCL 2.0. GPU Technology Conference presentation。

Jeon, Myeongjae, Shivaram Venkataraman, Amar Phanishayee, Junjie Qian, Wencong Xiao, and Fan Yang. 2019. “Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads.” 2019 USENIX Annual Technical Conference (USENIX ATC 19), 947–60。

Jevons, William Stanley. 1865. The Coal Question: An Inquiry Concerning the Progress of the Nation, and the Probable Exhaustion of Our Coal Mines. Macmillan; Co。

Jha, A. R. 2014. Rare Earth Materials: Properties and Applications. CRC Press. https://doi.org/10.1201/b17045 。

Jha, S., S. Banerjee, T. Tsai, S. K. S. Hari, M. B. Sullivan, Z. T. Kalbarczyk, S. W. Keckler, and R. K. Iyer. 2019. “ML-Based Fault Injection for Autonomous Vehicles: A Case for Bayesian Fault Injection.” 2019 49th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), 112–24. https://doi.org/10.1109/dsn.2019.00025 。

Jiang, A. Q., A. Sablayrolles, A. Roux, A. Mensch, B. Savary, C. Bamford, D. S. Chaplot, et al. 2024. “Mixtral of Experts.” arXiv Preprint arXiv:2401.04088。

Jiang, Ziheng, Haibin Lin, Yinmin Zhong, Qi Huang, Yangrui Chen, Zhi Zhang, Yanghua Peng, et al. 2024. “MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs.” 21st USENIX Symposium on Networked Systems Design and Implementation (NSDI 24), 745–60。

Jones, Nicola. 2018. “How to Stop Data Centres from Gobbling up the World’s Electricity.” Nature 561 (7722): 163–66. https://doi.org/10.1038/d41586-018-06610-y 。

Jouppi, Norman P., Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, et al. 2017. “In-Datacenter Performance Analysis of a Tensor Processing Unit.” Proceedings of the 44th Annual International Symposium on Computer Architecture, ISCA ’17, 1–12. https://doi.org/10.3079856.3080246 。

Joye, Marc, and Michael Tunstall. 2012. Fault Analysis in Cryptography. Inf. Secur. Cryptography. Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-29656-7 。

Kairouz, P., and H. B. McMahan. 2021. “Advances and Open Problems in Federated Learning.” Foundations and Trends in Machine Learning 14 (1-2): 1–210. https://doi.org/10.1561/2200000083 。

Kaplan, J., S. McCandlish, T. Henighan, T. B. Brown, B. Chess, R. Child, S. Gray, A. Radford, J. Wu, and D. Amodei. 2020. “Scaling Laws for Neural Language Models.” ArXiv Preprint abs/2001.08361。

Karger, D., E. Lehman, T. Leighton, R. Panigrahy, M. Levine, and D. Lewin. 1997. “Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web.” Proceedings of the Twenty-Ninth Annual ACM Symposiumon Theory of Computing - STOC ’97, 654–63. https://doi.org/10.1145/258533.258660 。

Karimireddy, Sai Praneeth, Quentin Rebjock, Sebastian U. Stich, and Martin Jaggi. 2019. “Error Feedback Fixes SignSGD and Other Gradient Compression Schemes.” Proceedings of the 36th International Conference on Machine Learning (ICML), Proceedings of machine learning research, vol. 97: 3252–61。

Kasperkevic, Jana. 2015. “Google Says Sorry for Racist Auto-Tag in Photo App.” The Guardian, July。

Kawazoe Aguilera, Marcos, Wei Chen, and Sam Toueg. 1997. “Heartbeat: A Timeout-Free Failure Detector for Quiescent Reliable Communication.” In Lect. Notes Comput. Sci. Springer Berlin Heidelberg. https://doi.org/10.1007/bfb0030680 。

Kim, B., M. Wattenberg, J. Gilmer, C. Cai, J. Wexler, F. Viegas, and R. Sayres. 2018. “Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV).” Proceedings of the 35th International Conference on Machine Learning (ICML) 80: 2668–77。

Kim, J., W. J. Dally, S. Scott, and D. Abts. 2008. “Technology-Driven, Highly-Scalable Dragonfly Topology.” 2008 International Symposiumon Computer Architecture, 77–88. https://doi.org/10.1109/isca.2008.19. Kim, Jungrae, Michael Sullivan, and Mattan Erez. 2015. “Bamboo ECC: Strong, Safe, and Flexible Codes for Reliable Computer Memory.” 2015 IEEE 21st International Symposiumon High Performance Computer Architecture (HPCA), 101–12. https://doi.org/10.1109/hpca.2015.7056025 。

Kim, Sunju, Chungsik Yoon, Seunghen Ham, Jihoon Park, Ohun Kwon, Donguk Park, Sangjun Choi, Seungwon Kim, Kwonchul Ha, and Won Kim. 2018. “Chemical Use in the Semiconductor Manufacturing Industry.” International Journal of Occupational and Environmental Health 24 (3-4): 109–18. https://doi.org/10.1080/10773525.2018.1519957 。

Kingma, Diederik P., and Jimmy Ba. 2014. “Adam: A Method for Stochastic Optimization.” ICLR in press。

Kirkpatrick, J., R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, et

D·A·M 基础

目的

当单个节点发生故障时，究竟是数据路径、算法还是机器首先成为瓶颈？

在生产环境中，“速度慢”和“结果错”很少能作为有信息量的症状。服务栈可能因加速器空闲（数据饥饿）、模型执行不必要的工作（算法开销）或加速器真正饱和（机器受限）而错失延迟目标。C³ 分类学将这些诊断扩展到了分布式集群，但它依赖于坚实的单节点性能基础。不了解 D·A·M，团队往往会优化错误的目标，例如购买更快的加速器来修复缓慢的输入管线，或在模型仅仅是太大以至于超出延迟预算时重写内核。本附录提供了一个紧凑的诊断框架——数据、算法和机器，并将单机症状和测量值映射到占主导地位的铁律项。用 C³ 的术语来说，这个单机复习是舰队规模计算、通信和协调所构建的节点级基础。

通过识别主要由数据、算法或机器轴主导的单机瓶颈来分类，同时认识到混合原因的存在
将优化技术映射到其数据-算法-机器交集区域，以理解它们跨越了哪些轴
应用铁律方程以量化诊断性能问题
利用算术强度区分内存受限和计算受限的工作负载
为每个数据-算法-机器轴选择合适的分析工具和优化策略
使用数据-算法-机器记分卡指标（I/O 开销、活跃参数、MFU）评估系统健康状况

如何使用本附录

本附录旨在作为单节点性能的参考手册。从记分卡风格的指标入手，形成关于哪个轴占主导地位的假设，然后挑选能够证实（或证伪）该假设的工具。

当单 GPU 训练缓慢时，检查利用率、数据等待时间和 MFU，然后将每一项映射到其数据、算法或机器轴。当服务错失延迟目标时，识别当前处于延迟受限（开销）、内存受限（权重/KV 移动）还是计算受限的状态。当成本激增时，使用 D·A·M 准则确保精力集中在主导项上，而非非瓶颈项上。

数据·算法·机器（D·A·M）分类学是 ML 系统工程的主要诊断框架。它将信息流、数学逻辑和物理执行之间的相互依赖形式化。当性能停滞或行为退化时，请问：流在哪里被阻塞了？ 该分类学帮助从业者跨三个诊断轴⁴⁴⁰分解瓶颈，同时认识到真实系统可能涉及混合原因或轴之间的交互。

诊断摘要

该分类学直接映射到 1.5.2 节中介绍的 ML 系统铁律。表 A.1 总结了每个轴的角色、主要物理约束和核心优化路径。

| 轴 | 角色 | 物理约束 | 高杠杆优化 |

| --- | --- | --- | --- |

| 算法 (A) | 逻辑 (蓝图) | 算力 (O) | 模型压缩 |

表 A.1：D·A·M 轴参考：每个轴映射到一个独特的物理约束和一个高杠杆优化策略。从这里开始诊断：识别哪个约束是绑定的，然后遵循优化杠杆。

铁律映射

有了这三个轴的名称，下一步是将它们与时间联系起来。任何 ML 任务的性能都受 D·A·M 轴间工作分布的支配，铁律映射揭示了哪个组件的变量主导了执行：

\[T = \underbrace{ \frac{D_{\text{vol}}}{\text{BW}} }_{\text{数据 (D)}} + \underbrace{ \frac{O}{R_{\text{peak}} \cdot \eta_{\text{hw}}} }_{\text{算法 (A)/机器 (M)}} + \underbrace{ L_{\text{lat}} }_{\text{开销}} \]

算法和机器共享计算项，通过工程师控制哪个变量来区分。减少总操作数 (O) 是算法杠杆，而提高硬件的峰值吞吐 (R[peak]) 或利用率 (η[hw]) 是机器杠杆。

D·A·M 协调：从求和到取最大值

加法形式的铁律代表 顺序执行——即数据、算法和机器轮流进行的最坏情况。熟练的系统工程将求和转化为取最大值：

\[T_{\text{sequential}} = \frac{D_{\text{vol}}}{\text{BW}} + \frac{O}{R_{\text{peak}} \cdot \eta_{\text{hw}}} + L_{\text{lat}} \quad \xrightarrow{\text{重叠}} \quad T_{\text{pipelined}} = \max\left(\frac{D_{\text{vol}}}{\text{BW}},\; \frac{O}{R_{\text{peak}} \cdot \eta_{\text{hw}}}\right) + L_{\text{lat}} \]

系统工程师的工作是让这些组件并行运行，而非串行运行。表 A.2 总结了关键的 D·A·M 协调技术：

| 技术 | 重叠的 D·A·M 轴 | 实现 |

| --- | --- | --- |

| 预取 | D 重叠 M | 具有 prefetch_factor、pin_memory=True 的 DataLoader |

| CUDA 流 | D 重叠 M | H2D 传输和计算使用独立流 |

| 异步梯度同步 | M (通信) 重叠 A | 当梯度桶准备就绪时，将梯度 AllReduce 与剩余的反向计算重叠 |

| 双缓冲 | D 重叠 M | 在计算缓冲区 i 时填充缓冲区 i + 1 |

表 A.2：D·A·M 重叠技术：每种技术允许一个 D·A·M 轴在另一个轴执行时运行，将铁律的加法项转化为重叠项。

算术强度边界

这种重叠视图仍留下一个实际问题：工作负载是在等待字节还是在等待浮点运算。数据（内存受限）和机器（计算受限）之间的边界并非任意；它由工作负载的 算术强度⁴⁴¹ (I) 在数学上定义。

以下症状是筛选信号，而非确诊。算术强度位于 R[peak]/BW 左侧的工作负载无法为加速器提供足够的每字节有效工作，但原始利用率必须结合内存带宽利用率、数据加载器等待、内核占用率和时间线间隙来读取。

GPU 利用率低 (< 80%)：筛查数据、CPU 或启动饥饿。通过数据加载器等待、主机 CPU 饱和度、内存带宽计数器和时间线间隙确认。
GPU 利用率高 (> 95%)：仅当计算单元繁忙且内存带宽未饱和时，才将其视为机器受限。如果内存带宽饱和，瓶颈仍在数据/机器边界上。
如果批大小为 1：视为延迟或启动开销可能重要的警告。对于 LLM 解码，除非追踪显示调度间隙，否则批-1 执行通常是内存带宽受限的。
如果算术强度低于屋脊点（在 H100 上约为 295.2 FLOP/byte）：工作负载很可能是内存受限的（数据/机器边界）。

瓶颈诊断

一旦确定瓶颈，表 A.3 显示哪些优化有效，哪些是浪费：

| --- | --- | --- | --- |

D·A·M 分类法

汇总表

表 A.3：有效优化 vs. 无效投入

| :--- | :--- | :--- | :--- |

| | \(O / (R_{peak} \cdot \eta_{hw})\) | 更优内核、Tensor Cores、更快 GPU、更低精度 | 更多内存带宽（已饱和） |

| :--- | :--- | :--- | :--- |

| | \(L_{lat}\) | 请求批处理、内核融合、异步分发 | 既非计算也非带宽（开销占主导） |

表 A.3：有效优化 vs. 无效投入：优化错误项仅能带来有限提升且成本效益低。仅靠更高的峰值 FLOP/s 无法加速内存受限模型；它需要更高的算术强度、更少的数据移动，或更快的内存子系统。

表 A.4：D·A·M 工具链图谱

| :--- | :--- | :--- | :--- |

表 A.4：D·A·M 工具链图谱：用于诊断 D·A·M 各维度瓶颈的性能分析工具。

表 A.5：D·A·M 效率评分卡

| 维度 | 指标 | 定义 | 不达标 | 达标 |

| :--- | :--- | :--- | :--- | :--- |

| 数据 | I/O 开销 | \(\frac{\text{数据等待时间}}{\text{总步骤时间}}\) | > 10% | < 1% |

| 算法 | 压缩/稀疏比 | \(\frac{\text{有效或活跃参数量}}{\text{稠密基线参数量}}\) | 取决于负载 | 取决于负载 |

| 机器 | MFU | \(\frac{\text{实现模型 FLOP/s}}{\text{峰值 FLOP/s}}\) | < 30% | > 50% |

表 A.5：D·A·M 效率评分卡：用这三个数字来刻画单机成熟度。

分类法的扩展：从单节点到集群

这些单节点评级在延伸至分布式设计时最具价值。D·A·M 分类法是单机的诊断基线，但当我们从单节点迈向 机器学习集群 时，每个维度都会经历质的转变。理解这些“衔接点”对于从本地优化过渡到集群级工程至关重要。

约束条件的演变

表 A.6：从节点到集群的 D·A·M 约束演变：当从单节点扩展到多节点集群时，D·A·M 分类法的各维度如何发生位移。节点级关注点（左）让位于质然不同的集群级约束（右）——瓶颈从本地资源迁移至全局协调成本。

| 维度 | 节点级关注点 (D·A·M) | 集群级转变 |

| :--- | :--- | :--- |

| 数据 (D) | I/O 带宽 (磁盘/PCIe) | 通信墙：瓶颈从本地存储转移至网络结构的剖分带宽。 |

| 算法 (A) | 模型深度/算子数量 | 并行策略：逻辑现包含如何跨 N 设备划分数学运算 (3D 并行)。 |

| 机器 (M) | 峰值 TFLOP/s, HBM | 功耗与可靠性墙：约束不再只是硅速度，而是机柜功耗与集群级 MTBF。 |

通往 C³ 的桥梁

虽然 D·A·M 诊断单节点的组件，但 C³ 分类法 (附录 B) 诊断集群的交互。

计算 (\(C_1\)) 继承了算法和机器维度，但增加了扩展效率损失。
通信 (\(C_2\)) 继承了数据维度，但受光速与网络拓扑支配，而非仅受本地 I/O 限制。
协调 (\(C_3\)) 是无单节点对应项的“规模化”衔接点。它代表协调税——仅在集群规模下涌现的同步、检查点与故障恢复耗时。

这种演进确保单节点效率 (高 MFU) 永不以集群级低效 (低扩展效率) 为代价。我们优化节点，是为了服务集群。

总结

D·A·M 分类法为所有 ML 系统分析提供诊断基线。通过将瓶颈隔离到数据、算法或机器，从业者确保优化工作瞄准约束性瓶颈。这种单节点纪律是贯穿全书的集群级工程的前提。

识别主导维度：在提出任何优化前，先判定数据、算法或机器中哪一个是约束性瓶颈。
剖析算术强度：算术强度能量化区分数据受限与机器受限两种机制。
运用铁律：铁律将模糊症状转化为具体的项级瓶颈。
用评分卡定级：数据-算法-机器评分卡在迈向集群规模前，将“良好性能”标准化。

C³ 分类法

目的

集群变慢时，你首选排查哪里：计算、通信，还是协调？

在分布式训练集群中，“跑得慢”比在单机上更无信息量。大规模分布式作业未达吞吐目标，可能因单个加速器利用率低、梯度同步饱和网络结构，或检查点开销与故障恢复占用过多墙钟时间。缺乏分类法时，团队会在该升级互联时买更多加速器，或在真问题在于流水线气泡开销时却去优化内核。本附录提供了一个紧凑的诊断框架——计算、通信与协调，并将集群级症状与度量映射到主导集群定律的各项。C³ 在深入的集群级优化前，将单机的诊断理念投射到分布式集群。

如何使用本附录

本附录为参考手册。从诊断汇总表入手，假设哪个 C³ 维度占主导，再选取能证实（或证伪）该假设的工具。

训练吞吐偏低时，检查 MFU、通信占比与有效吞吐比，再分别映射到计算、通信、协调三轴。扩展效率低于预期时，用集群定律分解判定哪个项增大。成本失控时，用 C³ 评分卡确保精力投向主导项，而非非瓶颈项。

C³ 分类法是集群级 ML 系统工程的诊断框架。单机基础篇 (附录 A) 诊断单节点内部瓶颈——数据饥饿、算法开销、硬件饱和；C³ 分类法则诊断分布式集群间的瓶颈。大多数集群级性能问题，均可通过识别主导轴来诊断：计算（加速器在做有效数学运算吗？）、通信（网络搬数据够快吗？）、协调（系统在同步、故障恢复、调度上花费过多时间吗？）。许多生产瓶颈正处于这些轴的交汇处。

从 D·A·M 到 C³

C³ 分类法与集群定律

C³ 分类法并非取代 D·A·M —— 而是对其进行扩展。当工作负载从单机迁移至集群时，每个 D·A·M 轴都会衍生出单机框架无法捕捉的新故障模式。表 B.1 展示了这一转换过程。

| --- | --- | --- | --- |

| 数据 (D) | I/O 带宽、磁盘到 GPU | 通信 (C[2]) | 数据在网络间移动，而非仅在内存层级间移动 |

| 算法 (A) | FLOPs、模型深度、算子数量 | 计算 (C[1]) | 单 GPU 利用率 (MFU) 仍重要，但扩展效率会侵蚀它 |

| 机器 (M) | 峰值 FLOP/s、硬件极限 | 计算 (C[1]) | 集群峰值 = N × 单 GPU 峰值，但复合损耗会降低有效 FLOP/s |

表 B.1：D·A·M 到 C³ 的映射：每个 D·A·M 轴均映射至一个 C³ 对应项，但协调 (C[3]) 是真正全新的 —— 它捕捉了单机上可忽略，却能在集群规模下消耗 40% 墙钟时间的开销。

表 B.1 中最关键的一行是最后一行。在单机上，铁律中的开销项 (L[lat]) 通常很小 —— 内核启动延迟、Python 分发、同步屏障。而在集群规模下，协调成为独立的轴：检查点写入、故障检测与恢复、流水线气泡开销、调度器抢占、维护窗口，这些加起来会占用相当大比例的墙钟时间。协调正是本书存在的意义所在。

诊断总结

有了映射关系，诊断就转化为将症状与约束集群的轴相匹配。表 B.2 提供了集群规模诊断的主要参考表。每个 C³ 轴均映射至一个物理约束、可观测症状、可度量指标和工程杠杆。

| --- | --- | --- | --- | --- |

表 B.2：C³ 诊断总结：每个轴映射至独特的物理约束和高杠杆优化策略。从此处开始诊断：识别哪个约束成为瓶颈，然后沿着优化指针跳转至相关章节。

集群定律

同一分类法可写作每个分布式步骤的时间预算。集群定律在 1.5 节中引入，将每个分布式训练步骤分解为分布式步骤时间预算：

T_step(N) = T_compute/N + T_comm(N) + T_sync(N) - T_overlap

此方程是铁律在集群规模下的对应物。铁律将单机执行分解为数据移动、计算和开销；集群定律将分布式执行分解为本地算术、网络数据传输和同步逻辑。诊断策略完全一致：测量各项、识别主导项、将工程精力集中于主导项。

组件分解

集群定律中的每一项均映射至具体的可测量活动：

T_compute/N：前向传播、反向传播、优化器步骤 —— 跨 N 设备分发后的所有本地算术。由 MFU 和单 GPU 内核效率决定。改进源于更好的内核、混合精度和算子融合。
T_comm(N)：梯度 AllReduce、参数 AllGather (FSDP/ZeRO 中)、张量/流水线并行中的激活传输。由网络带宽和集合算法选择决定。改进源于梯度压缩、分层集合和计算通信重叠。
T_sync(N)：同步屏障、检查点写入、故障检测与恢复、流水线气泡空闲时间、调度器抢占、维护窗口。由集群可靠性和编排软件决定。改进源于异步检查点、弹性训练和更快的故障检测。
T_overlap：隐藏在有效算术背后的通信或协调时间。由调度和实现重叠决定。

集群效率直接随之得出：

f_compute = (T_compute/N) / T_step(N)

当 f_compute 低于 0.5 时，集群在通信和协调上花费的时间超过有效算术。此计算时间占比非集群总效率；有效集群效率还取决于 MFU、扩展效率和良吞吐。C³ 分类法识别出是哪个非计算项在起作用。

交叉领域

与 D·A·M 类似，C³ 轴在边界处相互作用。生产瓶颈常位于两个轴叠加的交叉点。

计算 ∩ 通信

此交叉点决定系统能否将通信隐藏在计算之后。通信计算比 (ρ = T_comm(N)/(T_compute/N)) 为关键指标 (附录 C)。当 ρ < 1 时，计算耗时长于通信，网络传输可重叠 —— 系统为计算受限且健康。当 ρ > 1 时，GPU 在网络交付下一轮数据前完成本地工作，系统变为通信受限。

此交叉点的工程优化聚焦重叠策略：在反向传播期间发起 AllReduce、利用 CUDA 流水线将本地计算与网络传输流水化、增加每同步点的计算量 (更大微批次、梯度累积)。第 5 章和第 6 章深入探讨这些技术。

通信 ∩ 协调

此交叉点捕捉嵌入通信中的同步成本。每次 AllReduce 既是数据传输 (通信) 又是同步屏障 (协调) —— 所有参与者必须到达屏障后方可继续。掉队者成本在此显现：若某 GPU 慢 10%，所有其他 GPU 均需等待，将通信操作转化为协调瓶颈。

此交叉点的工程优化聚焦降低屏障敏感性：将通信与同步解耦的异步梯度法、限制掉队者影响范围的分层 AllReduce、主动缓解的掉队者检测。第 7 章论述掉队者管理。

计算 ∩ 协调

该交集捕获由协调开销引起的空闲计算资源。流水线气泡是典型的例子：在流水线并行的预热和冷却阶段，某些阶段处于空闲状态，而其他阶段则在计算。阻塞训练循环的检查点写入将协调开销转化为浪费的计算容量。需要回滚并重新计算工作的故障恢复，将一个协调事件转化为计算惩罚。

该交集的工程实践重点在于最小化空闲时间：增加微批次以缩减流水线气泡比例，使用异步检查点使写入与计算重叠，以及减小故障影响半径以限制重新计算的范围。第 5 章介绍流水线调度；第 7 章介绍恢复策略。

经验法则

在生产事故处理过程中，快速启发式方法可在引入性能分析器之前缩小排查范围。这些阈值提供了第一道防线。

C³ 红绿灯指标

表 B.3 为每个 C³ 轴提供基于阈值的分诊标准。

| --- | --- | --- | --- |

| 计算 | MFU > 50% | MFU 30%–50% | MFU < 30% |

表 B.3：C³ 红绿灯指标：用于舰队级诊断的快速分诊阈值。绿色表示该轴健康；黄色表示值得调查；红色表示该轴极有可能是瓶颈。这些阈值假设在当代硬件上运行经过良好优化的大模型训练。

瓶颈诊断表

确定瓶颈轴后，表 B.4 展示了哪些优化有效，哪些优化是徒劳的。

| --- | --- | --- | --- |

表 B.4：舰队规模下的有效优化与徒劳优化：优化非主导 C³ 轴收效甚微，往往还会恶化成本效率。在通信瓶颈（如 AllReduce 等）得到解决之前，通信受限的舰队从更快的 GPU 中获益甚微。

C³ 案例研究

理论约束在生产环境中表现为令人困惑的症状。这些场景说明如何将 C³ 分类法应用于舰队级性能问题。每个案例先隔离一个主导轴，再展示基于该诊断的优化杠杆。

案例 1：利用率低下的舰队（计算）

现象

你为大语言模型训练配置了 4,096 张 H100 GPU。训练循环无报错运行，但 PyTorch Profiler 显示 MFU 仅为 15%。网络性能分析显示通信占每步耗时的不足 10%。集群在运行，但几乎未发挥作用。

诊断

计算轴是瓶颈。MFU 仅 15%，意味着每一步都有 85% 的舰队算力处于空闲。这不是通信或协调问题——网络足够快且系统稳定。系统未能高效地向 GPU 喂送工作。

修复方案

这是一个恰好在 4,096 块加速器上被放大的单 GPU 效率问题。针对计算轴：

混合精度：确保 BF16/FP8 Tensor Core 已启用。常见原因是归一化层或损失计算中的 FP32 回退。
算子融合：使用 torch.compile 或类似的即时（JIT）编译融合逐元素操作，减少内核启动开销。
批次大小调优：若单 GPU 批次大小过小，矩阵乘法的算术强度不足以饱和 Tensor Core。

在相同硬件上将 MFU 从 15% 提升至 50%，能带来 50%/15% = 3.3 倍的有效工作产出——相当于在不采购任何 GPU 的情况下将舰队规模扩大三倍。

案例 2：通信墙（通信）

现象

一次 512 GPU 的数据并行训练在每块 GPU 的计算内核上实现了 45% 的 MFU——单设备内核效率良好。但包含 AllReduce 在内的全步骤实际 MFU 仅为 20.2%，因为 AllReduce 消耗了每个训练步骤 55% 的时间。从 64 GPU 扩展到 512 GPU 仅获得 4 倍加速，而非预期的 8 倍，扩展效率仅 50%。

诊断

通信轴占主导。每块 GPU 计算高效（MFU 健康），但超过一半的步骤时间花在跨网络同步梯度上。系统属于通信受限：增加 GPU 会让情况恶化，而非改善，因为 AllReduce 时间随参与者数量增长，而单 GPU 计算量保持不变。

修复方案

针对通信轴优化，不动单 GPU 计算：

计算通信重叠：在反向传播期间发起 AllReduce，而非等待其完成。现代框架（FSDP、DeepSpeed）原生支持此功能。
梯度压缩：应用 TopK 稀疏化或量化，将跨网络的字节量减少 10–100 倍。
分层集合通信：首阶段用节点内 NVLink 归约，跨节点再用 InfiniBand 聚合，将跨节点流量降低 8 倍。

若通信完全消除，吞吐量将按阿姆达尔定律提升 2.2 倍（基于 45% 的计算占比）。实际上，将通信占比从 55% 降至 20% 即可挽回大部分扩展损失。

案例 3：协调税（协调）

现象

一次 10,000 GPU 训练的单设备 MFU 为 40%，通信仅占步骤时间 15%——两者均健康。但作业的良吞吐率（有效训练步数/墙钟时间）仅 60%。剩余 40% 的墙钟时间被检查点写入、故障恢复重启、流水线气泡空闲、调度器抢占（占墙钟时间 17%）和维护窗口消耗。

诊断

协调轴占主导。单 GPU 计算与节点间通信均高效，但 40% 的墙钟时间消耗在非生产性开销上：10% 故障恢复（10,000 GPU 规模下，GPU 故障约每 5 小时发生一次），5% 流水线气泡，3% 检查点写入，5% 维护窗口。更快的 GPU 或网络都无济于事——耗费时间的是协调，而非计算或通信。

修复方案

针对协调轴优化：

异步检查点：使检查点写入与下一训练步骤重叠，将可见的检查点开销从 3% 降至近乎为零。
弹性训练：节点故障时缩减作业规模并继续运行，而非暂停所有 10,000 GPU 等待恢复。这将 10% 的故障恢复成本转化为较小的吞吐量下降。

流水线调度优化

流水线调度优化：从 GPipe 切换到交错式 1F1B 调度以减少气泡比例，或增加每次流水线刷新的微批次数量。
更快的故障检测：借助硬件级健康监控，将心跳超时从 30 秒缩短至 5 秒，减少故障发生到恢复启动之间的空闲时间。

生产环境故障排查

表 B.5 提供了常见舰队级故障模式的诊断矩阵。

| 症状 | C³ 轴 | 诊断问题 | 测量方法 | 行动 |

| --- | --- | --- | --- | --- |

表 B.5：C³ 故障排查矩阵：针对常见舰队级瓶颈的根因识别与修复。每行将一个用户可见症状映射到最可能负责的 C³ 轴，在动用 Profiler 前缩小搜索空间。

工具链图谱

工程师必须用具体的性能分析工具来度量抽象的 C³ 轴。表 B.6 将每个轴映射到能够验证或证伪假设的工具。

| --- | --- | --- | --- |

表 B.6：C³ 工具链图谱：用于诊断舰队级瓶颈的性能分析工具。从主要工具入手快速分诊；用辅助工具深度钻取。计算工具按单 GPU 操作；通信工具在网络层操作；协调工具在集群/作业层操作。

C³ 记分卡

C³ 记分卡根据已知阈值对舰队效率进行评级，将单机记分卡 (附录 A) 扩展到分布式环境。表 B.7 定义了刻画舰队健康度的三个指标。

| C³ 轴 | 指标 | 定义 | 不及格 | 及格 |

| --- | --- | --- | --- | --- |

| 计算 | MFU | \frac{O_{\text{step}}}{N R_{\text{peak,device}} \times T_{\text{step}}} | < 30% | > 50% |

| 通信 | 扩展效率 (η[scaling]) | \frac{T_1}{N \times T_N} | < 35% | > 70% |

| 协调 | Goodput 比率 | \frac{T_{\text{useful}}}{T_{\text{wall}}} 或 \frac{\text{useful steps/sec}}{\text{ideal or allocated steps/sec}} | < 75% | > 90% |

表 B.7：C³ 效率评分标准：用这三个数字刻画舰队健康度。MFU 分母使用聚合舰队峰值，当 R[peak] 为单设备值时写作 N*R[peak,device]。通过所有三个阈值的舰队已耗尽其简单优化；进一步增益需要架构变更、硬件升级或更大的问题规模以改善扩展机制。

透过 C³ 视角看缩放定律

缩放定律通常用算法 FLOPs 表达，但训练舰队只能交付在利用率、通信和协调损耗后存活下来的有效 FLOPs。本节将缩放定律目标转换为 C³ 术语：首先点出隐含的完美系统假设，然后定义有效 FLOP/s 为连接模型质量预测与真实集群产能的量。

为何缩放定律假设完美的 C³

缩放定律——Kaplan、Chinchilla 及其后续工作——按算法训练算力预测模型质量。它们通常抽象掉系统效率：墙钟时间、加速器峰值 FLOP/s、MFU、通信开销和调度损耗，留待团队在预配硬件以交付目标算力预算时再考虑。用 C³ 术语说，缩放定律 FLOPs 必须在 MFU、通信和 Goodput 损耗后转换为原始舰队产能。

缩放定律预测与观测训练结果之间的差距，很大程度上是一个 C³ 差距。为训练预算 10²⁴ FLOPs 的团队，实际交付给模型的有效 FLOPs 远少于此，因为每个 FLOP 必须经受三重乘性损耗：单 GPU 利用率 (MFU)、节点间扩展效率 (η[scaling]) 和运维 Goodput。

有效 FLOP/s 概念

舰队的 有效 FLOP/s 是在三重独立 C³ 损耗复合后的可用吞吐：

有效 = 峰值 × MFU_ 计算 × η_ 扩展 _ 通信 × Goodput 比率 _ 协调

每个因子映射到一个 C³ 轴。MFU 捕获单 GPU 计算效率。扩展效率捕获增加 GPU 时的通信开销。Goodput 比率捕获检查点、故障、流水线气泡和维护带来的协调损耗。

一个具体的估算能让乘性损耗在舰队规模下清晰可见。

设想一个拥有 100,000 张 H100 的集群，峰值聚合吞吐 98,900 PFLOP/s。经过三重 C³ 损耗后：

有效 = 98,900 PFLOP/s × 0.50 × 0.35 × 0.60 ≈ 10384.5 PFLOP/s

该舰队仅交付其峰值产能的 10.5% 作为有效训练工作。C³ 税——峰值与有效之比——为 9.5×：实现给定的有效算力预算需要 9.5 倍的原始硬件。按轴拆解：计算消耗 50% 因子 (MFU)，通信消耗 35% 因子 (以 8,192-GPU 扩展效率参考为说明性代理)，协调消耗 60% 因子 (流水线气泡、检查点、故障、调度器抢占和维护后的 Goodput 比率)。

这不是工程失败——这是舰队级计算的物理规律。C³ 分类量化了损耗发生的位置，以便优化工作瞄准主导项。

总结

C³ 分类法为诊断舰队规模瓶颈提供了系统性框架。每个轴映射到不同的物理约束：算力吞吐量和 MFU 限制 Compute（计算）；网络带宽和集合通信算法效率限制 Communication（通信）；同步开销、故障恢复和运营损耗限制 Coordination（协调）。舰队定律量化了这些约束，支持系统性诊断。使用 C³ 红绿灯进行快速分诊，用瓶颈诊断表选择正确的杠杆，用 C³ 记分卡评估舰队健康度。

每个舰队规模瓶颈都有一个主导的 C³ 轴：Compute（计算）、Communication（通信）或 Coordination（协调），许多实际瓶颈跨越交叉点。在优化前识别主导轴。
测量 C³ 记分卡：在投资优化前，使用 MFU > 50 percent、Scaling Efficiency > 70 percent 和 Goodput Ratio > 90 percent。
C³ 税是乘法性的：Peak FLOP/s × MFU × Scaling Efficiency × Goodput Ratio = Effective FLOP/s。在 100,000 块 GPU 规模下，预期仅能达到峰值的 ~10.5%。
协调是新轴：在单机上，开销可忽略。在舰队规模下，检查点、故障、流水线气泡和调度消耗 40% 或更多的墙钟时间。
优化错误的 C³ 轴收效有限：更快的 GPU 无法单独修复通信受限的舰队；更快的网络无法修复协调开销。

舰队基石

目的

每位舰队规模 ML 工程师在进行分布式系统设计决策时，应随身携带哪些参考数字和物理定律？

为单机设计系统需要了解内存层级延迟、屋顶模型转折点和精度权衡。然而，一旦训练作业跨越两台机器，一组全新的数字便接管了局面。网络延迟取代缓存延迟成为主要关注点。组件故障率从可忽略不计累积为不可避免。通信开销侵蚀了扩展效率，而这本正是购买更多加速器的理由。本附录汇总了舰队规模推理所需的参考数字和紧凑模型：支撑本书的三大系统范式、舰队工程师应知的 Compute（计算）、Communication（通信）和 Coordination（协调）三大维度数字，以及支配集群设计的扩展物理和热力学约束。用 C³ 术语来说，这些数字定义了计算容量、通信带宽和协调开销变得可度量的物理尺度。

如何使用本附录

本附录旨在作为参考手册。当舰队规模设计问题出现时，使用它将模糊症状转化为具体约束，进而选择真正能起作用的杠杆。

“节点间通信能有多快？”：从第 C.2 节的通信数字开始，了解带宽和延迟层级。
“我实际需要多少 GPU？”：使用第 C.3 节的扩展物理，理解为何 GPU 加倍不能将训练时间减半。
“我的集群会多久故障一次？”：查看第 C.2 节的协调数字，获取 MTBF 表和故障概率计算。
“我的集群是受功率限制还是受算力限制？”：见第 C.4 节的热力学与功率物理，了解功率密度和散热约束。
“典型的开销预算是什么样的？”：协调数字包含侵蚀有效吞吐率的四类开销。

三大系统范式

大规模机器学习基础设施继承了两个截然不同计算谱系的设计基因——随后又打破了两者的假设。理解 ML 系统在哪些方面借鉴了高性能计算（HPC），在哪些方面借鉴了仓储级计算（WSC），对于选择正确的设计权衡至关重要。将 ML 训练视为“仅仅是 HPC” 的系统架构师，会构建无法容忍故障的基础设施。将其视为“仅仅是 Web 服务” 的架构师，则会构建无法维持同步训练所需紧密耦合的基础设施。

高性能计算

HPC 系统源自超级计算机传统。其设计理念是在紧密耦合的仿真中最大化 FLOP/s——气象建模、分子动力学、核物理。每个节点都至关重要：它们使用专用互连（InfiniBand）、低延迟网络和同构硬件。容错遵循 检查点/重启 模型：若一个节点故障，整个作业停止，回滚至上一个检查点，并从头重启。调度面向批处理（Slurm），作业请求刚性资源形状（“512 个节点运行 24 小时”）。节点是宠物 ——个别重要、个别追踪。

仓储级计算

WSC 系统源自 Web 服务传统。其设计理念是在松耦合服务中最大化每秒查询数——搜索、邮件、社交媒体。硬件为商用以太网，多代共存，节点异构。容错遵循冗余模型：若一个节点故障，负载均衡器将流量重定向至另一副本。用户无感知。调度为动态（Kubernetes、Borg），采用弹性装箱。节点是牲畜 ——可互换、可牺牲。

ML 舰队：混合架构

ML 系统既需要 HPC 级的计算吞吐量（以同步梯度更新训练海量模型），又必须在 WSC 级的规模和不可靠性下运行（数千加速器运行数周）。这创造了一种混合体，有选择地借鉴两大传统。

训练负载像 HPC 一样同步且渴求带宽，却像 WSC 一样长时运行且需容错。推理负载像 WSC 一样对延迟敏感，却像 HPC 一样计算繁重。网络是融合体：控制平面用 TCP/IP，数据平面用 InfiniBand 或 NVLink。容错采用 弹性训练 策略：训练作业可收缩、扩展、暂停或恢复，无需完全重启。调度结合帮派分配（训练全有或全无）与动态抢占和替换。

表 C.1 总结了三大范式在各维度的设计权衡。关键洞见是：ML 舰队不能全盘照搬 HPC 或 WSC 模式；必须根据负载阶段，从两者中有选择地组合要素。

| 维度 || HPC（超算） || WSC（Web 云） || ML 舰队（AI 集群） |

| --- | --- | --- | --- | --- | --- |

| 理念 || 最大化 FLOP/s || 最大化 QPS || 最大化每美元/瓦模型质量 |

| 耦合 || 紧（MPI） || 松（RPC/HTTP） || 混合（NCCL + RPC） |

| 状态 || 有状态（内存） || 无状态（数据库支撑） || 半有状态（检查点 + KV 缓存） |

| 网络 || 优化延迟 || 优化带宽 || 剖面带宽至关重要 |

| 瓶颈 || 计算吞吐（FLOP/s） || I/O（磁盘/网络） || 内存带宽（HBM） |

| 故障模型 || 检查点/重启 || 冗余/副本 || 弹性收缩/扩展 |

| 调度 || 批处理（Slurm） || 编排（K8s） || 帮派 + 抢占 |

| 节点模型 || 宠物（追踪） || 牲畜（可牺牲） || 作业中为宠物，作业间为牲畜 |

表 C.1：三大系统范式：ML 舰队继承 HPC 与 WSC 的设计基因，却打破了两者的假设。训练类似 HPC（紧耦合），推理类似 WSC（弹性服务），容错是两者的混合体。

基石回顾

以下为分布式系统章节中反复出现的关键基础思想的紧凑参考。

铁律 (T ≈ D[vol]/BW + O/(R[peak] ⋅ η[hw]) + L[lat]): 性能受数据移动或计算限制。在 fleet 规模下，数据移动项需扩展以包含节点间通信，而不仅仅是内存带宽。
屋顶模型：通过算术强度区分计算受限与内存受限的工作负载。在 fleet 规模下，出现第三个上限：网络受限的工作负载，其性能受节点间带宽限制。
阿姆达尔定律：强扩展加速上限为 1/s (Amdahl 1967)。在 fleet 规模下，“串行分数”不仅包括顺序代码，还包括同步障碍、集体通信和流水线气泡。
训练状态规则：常见混合精度 Adam 检查点状态下，每个参数约占 14 字节（BF16 权重，FP32 主权重，以及 Adam 动量），不包括框架元数据和实现特定的额外开销。在 fleet 规模下，这决定了模型状态如何在节点间划分（ZeRO、张量并行、流水线并行）。
利特尔定律 (Q[req] = λ[arr]*T[lat]): 用于推断基础设施规模，其中 λ[arr] 为请求到达率，Q[req] 为期望的并发请求数量 (Little 1961)。在 fleet 规模下，它决定了负载均衡器后方需要多少个服务副本。

从单机到 fleet 规模的推理转变需要通过新维度扩展这些模型：网络拓扑、故障概率和协调开销。下一节中的数字提供了此扩展的量化基础。

每位 fleet 工程师应知的数字

正如单机分析依赖于一组核心数字，fleet 规模工程受一组可预测的比率和伸缩行为支配。单机数字仍适用于每个节点内部，但一组新的数字管辖着节点之间的空间。虽然绝对值随硬件代际演变，但通信层级之间的比率以及故障率的 伸缩行为 仍显著保持稳定。记住这些比率和伸缩趋势；使用具体数字作为合理性检查。

fleet 推理依赖于少数直接影响 fleet 设计的节点级数字：Adam 检查点状态下每个参数约 14 字节的训练状态规则，当包括梯度、激活、元数据或额外优化器缓冲区时，占用空间会更大；NVLink 与 HBM 带宽用于节点内并行放置；以及峰值 FLOP/s 和 HBM 容量，用于 MFU、有效 FLOP/s、批次大小和模型分片。表 C.2 和下方通信数字提供了节点间及当前代的数值；节点内的内存层级和屋顶模型脊点提供了必要的基准。

这些节点级基准使得 fleet 级比率更易解读。

带宽差距：节点内 NVLink 每个方向的带宽约为节点间 InfiniBand NDR 端口的 9 倍。此比率决定了并行边界——节点内模型并行，节点间数据并行。
MTBF 伸缩：集群的平均无故障时间为单个组件 MTBF 除以组件数量（1/N 伸缩）。在 100,000 个 GPU 时，预计每 30 分钟发生一次故障。
有效利用率：在 MFU、伸缩效率和开销损耗叠加后，拥有 1,024 个 GPU 的集群仅提供其峰值 FLOP/s 的约 19.2% 作为有用训练工作。

快速参考 — 表 C.2 将 fleet 规模数字浓缩到一个位置。用它进行背封信封检查；在设计或调试时，使用每个小节中的详细表格。

| 类别 | 数值 | 用途 |

| --- | --- | --- |

| 通信 | NVLink 每个方向带宽 ~9× IB NDR | 并行边界（节点内 vs. 跨节点） |

| 通信 | IB NDR ~50 GB/s，~5 μs 单向 | 节点间带宽和延迟 |

| 计算 | MFU 30–50%，η[scaling] ~50% @ 1K，~35% @ 8K | 有效 FLOP/s 和伸缩合理性检查 |

| 协调 | MTBF 8K: ~366.2 min；100K: ~30 min | 故障预期和检查点频率 |

| 协调 | 175B 检查点 ~2450 GB（14 B/param 常见 Adam 状态） | 恢复和存储规模 |

| 协调 | 开销后 Goodput ~77% | 墙钟利用率 |

| 电源 & 可持续性 | AI 机架 ~70 kW；空冷限制 ~30 kW | 冷却可行性（空冷限制以上需液冷） |

| 电源 & 可持续性 | 液冷 PUE ~1.06，典型 ~1.40；H100 700 W → 10,000 ≈ 7 MW IT × PUE | 设施负载和碳排放（参见第 C.4 节） |

表 C.2：每位 fleet 工程师应知的数字（快速参考）：本节 fleet 规模参考数字的一页摘要。参见表 C.3 和表 C.4 了解通信内容，表 C.5 了解计算内容，表 C.6 了解协调内容。

不变量：永不改变的比率

这些关系受物理或架构支配——它们在 2035 年仍将成立。

网络层级比率

节点内与节点间通信的带宽差距是一个架构不变量。芯片间链路（NVLink、ICI）通过共享基板上的短、宽、专用路径连接。节点间链路（InfiniBand、以太网）必须穿越电缆、交换机和协议栈。这种结构差异保证了节点内带宽始终比节点间带宽高一个数量级。

目前，NVLink 4.0 提供的每个方向带宽是 InfiniBand NDR 端口的 9 倍。即使两种技术均有所提升，此比率仍然存在，因为两者均受相同物理定律约束：信号速率、通道数和连接器密度。此比率是并行策略中最重要的数字：任何需要带宽超过节点间链路容量的操作，必须局限于单个节点内。

故障伸缩定律

对于 N 个独立组件，每个在恒定故障率假设下的平均无故障时间为 MTBF[component]，方程 C.1 给出系统 MTBF：

MTBF_system = MTBF_component / N  (C.1)

这是纯粹的算术运算，而非近似。将集群规模加倍会使故障间时间减半。在 100,000 个 GPU，每个 GPU 的 MTTF 为 50,000 小时时，集群每 30 分钟会发生一次 GPU 故障。无容错策略能规避这一点——问题在于系统恢复的速度。

AllReduce 开销伸缩

带宽最优的环形 AllReduce 算法每个参与者传输 2(N − 1)M/N 字节，其中 M 为消息大小，N 为参与者数量 (Patarasuk and Yuan 2009)。当 N 很大时，这趋近于每个 GPU 传输 2M 字节，因此每个 GPU 的带宽项与 GPU 数量几乎无关；整个集群的流量仍随参与者数量增长。这就是环形 AllReduce 在带宽项中伸缩良好的原因。然而，延迟项随 2(N − 1) × α 增长，使得延迟成为大环中小消息的瓶颈。这种权衡促使了分层 AllReduce 策略：在节点内使用环形 AllReduce，在节点间使用树形 AllReduce。

通信数字

通信定义了并行性的边界

这些表格量化了网络层级中每一层的带宽和延迟，从最快的节点内链路到最慢的广域连接。任何分布式 ML 操作的关键问题是：此次通信跨越了网络层级的哪一层？

表 C.3 展示了每一层可用的带宽。请注意，随着通信跨越节点边界，带宽会出现数量级的下降。

表 C.3 列出了决定张量并行、流水线并行和数据并行流量应保持在何处本地化的带宽层级。

| 互联技术 | 带宽 | 典型角色 |

| --- | --- | --- |

| NVLink 4.0 (H100) | 450 GB/s | 节点内的张量/流水线并行 |

| TPU v5p ICI | 1,200 GB/s | Pod 内模型并行 (Google) |

| PCIe Gen5 x16 | 64 GB/s | CPU-GPU 数据传输, NIC 连接 |

| IB GXDR (1.6 Tbps) | 200 GB/s | 下一代节点间互联 (2026+) |

| IB XDR (800 Gbps) | 100 GB/s | 节点间标准 (2025+) |

| IB NDR (400 Gbps) | 50 GB/s | AI 集群当前的节点间标准 |

| IB HDR (200 Gbps) | 25 GB/s | 上一代节点间互联 |

| RoCE v2 (100 GbE) | 12.5 GB/s | 预算型集群, 推理机群 |

表 C.3: 通信带宽层级: 从节点内 (NVLink) 跨越到节点间 (InfiniBand) 时，单向带宽大约下降 9 倍。该比率将 H100 NVLink 的单向速率与单个 InfiniBand NDR 端口进行对比，并决定并行性的放置位置。

表 C.4 展示了每一层的单向延迟。对于小消息上的集合操作，延迟——而非带宽——是瓶颈。

| 互联技术 | 单向延迟 | 含义 |

| --- | --- | --- |

| InfiniBand NDR | ~5 μs | 足够低，可用于同步 AllReduce |

| InfiniBand HDR | ~7 μs | 足以应对大多数训练拓扑 |

| RoCE v2 | ~10 μs | 可接受用于数据并行 |

| TCP/IP (Ethernet) | ~50 μs | 对同步训练而言太慢 |

| 跨数据中心 | ~40,000 μs (40 ms) | 物理极限; 仅限异步训练 |

表 C.4: 通信延迟层级: 延迟决定了同步训练是否可行。TCP/IP 大约比 InfiniBand NDR 慢 10 倍，使其不适合大规模集群中的梯度同步。

计算数值

原始峰值 FLOP/s 是车队容量规划的必要但具有误导性的指标。两个乘法性损失——模型 FLOP 利用率 (MFU) 和扩展效率——会大幅降低有效吞吐量。理解这些损失将车队规模估算从猜测转变为工程实践。

模型 FLOP 利用率 (MFU) 衡量训练工作负载实际达到峰值 FLOP/s 的比例。在当前硬件上，经过良好优化的大模型训练可达到 30–50% 的 MFU。差距源于内存停顿、内核启动开销、流水线气泡和次优的算子融合。低于该范围下限的 MFU 表明存在优化机会；高于该范围上限的 MFU 表明硬件利用率极佳。

扩展效率 (η[scaling]) 随着加速器的增加衡量有用计算的存活比例。表 C.5 显示了经过良好优化的分布式训练的经验范围。

| 集群规模 | 扩展效率 (η[scaling]) | 含义 |

| --- | --- | --- |

| 32 GPUs | ~90% | 接近线性扩展; 通信开销可忽略 |

| 256 GPUs | ~70% | 通信开始侵蚀吞吐量 |

| 1,024 GPUs | ~50% | 显著开销; 优化至关重要 |

| 8,192 GPUs | ~35% | 车队级规模; 65% 的算力为开销 |

表 C.5: 按集群规模划分的扩展效率: 效率大致随集群规模的对数下降。这些范围假设使用带梯度压缩的良好优化数据并行。优化不佳的系统可能会多损失 2–3 倍。

协调数值

在车队规模下，协调——故障恢复、检查点和维护——消耗了可观的墙钟时间比例。这些数值量化了保持大型集群运行的成本。

按集群规模划分的故障率

表 C.6 展示了集群 MTBF 如何随规模收缩，基于每 GPU 50,000 小时 (~5.7 年) 的 MTTF。故障概率列显示了在 24 小时训练窗口内至少发生一次 GPU 故障的可能性。

表 C.6 将单 GPU 可靠性转化为集群级故障节奏，这是检查点规划必须吸收的数值。

| --- | --- | --- | --- |

| 256 GPUs | 195.3 h | 11,718.8 min | 11.6% |

| 2,048 GPUs | 24.4 h | 1,464.8 min | 62.6% |

| 8,192 GPUs | 6.1 h | 366.2 min | 98% |

| 100,000 GPUs | 0.50 h | 30 min | 100% |

表 C.6: 按集群规模划分的 MTBF 和故障概率: 采用单 GPU MTTF 50,000 小时的仅 GPU 故障模型。真实集群还包括 NIC、PSU、线缆和交换机故障，使这些估算偏保守。概率列使用 Pr(≥ 1 failure) = 1 − e^(−T/MTBF)，其中 T = 24 hours。

核心结论：在 8,192 GPU 及以上规模，故障不再是边缘情况。仅 GPU 的 MTBF 在 8,192 GPU 时约为 366.2 分钟，24 小时内至少发生一次 GPU 故障的概率为 98%。容错在车队规模下并非可选项；它是完成任何长时间训练作业的前提条件。第 7 章详细介绍了相关机制。

检查点大小

检查点是主要的恢复机制，其成本取决于模型大小。表 C.7 展示了常见混合精度 Adam 训练检查点的大小（每参数 14 字节：2B 用于 BF16 权重，12B 用于 FP32 主权重 + 动量 + 方差）。梯度通常是瞬态的，恢复后重新计算，而不是作为持久检查点状态序列化。

| 模型规模 | 检查点大小 | 写入时间 @ 100 GB/s |

| --- | --- | --- |

| 7B 参数 | 98 GB | 0.98 s |

| 70B 参数 | 980 GB | 9.8 s |

| 175B 参数 | 2,450 GB | 24.5 s |

| 1T 参数 | 14 TB | 2.3 min |

表 C.7: 按模型规模划分的检查点大小: 采用常见混合精度 Adam 检查点状态的 14 字节/参数。写入时间假设 100 GB/s 聚合存储带宽。异步检查点 (第 7 章) 可将写入与训练重叠，降低可见开销。

开销预算

故障恢复和检查点只是墙钟预算的一部分。在车队规模下，表 C.8 将消耗非有效训练时间的四类经常性开销分离开来：

| 开销类别 | 典型预算 | 优化杠杆 |

| --- | --- | --- |

| 流水线气泡 | ~5% | 增加每个流水线阶段的微批次 |

| 检查点 | ~3% | 异步检查点, 更快的存储 |

| 故障恢复 | ~10% | 更快的检测, 弹性重调度 |

| 维护窗口 | ~5% | 滚动升级, 热迁移 |

表 C.8: 车队级训练的开销预算: 这些是墙钟时间的分数。在 10,000+ GPU 规模下，故障恢复占主导。复合效应是加性的：总有效计算比率 ≈ 1.0 − (0.05 + 0.03 + 0.10 + 0.05) = 0.77 ≈ 77%。

功耗与可持续性数值

车队规模的容量规划和可持续性报告需要一些每位车队工程师都应了解的功率数值。在车队规模下，关键数值为机架功率密度、PUE 和 风冷极限——它们决定了建设在何处可行以及设施负载将是多少。表 C.9 汇总了这些参考值：

| 量度 | 典型值 | 用途 |

|---|---|---|

| 传统机架 | 12 kW | 非 AI 数据中心的基线 |

| AI 机架（当前代） | 70 kW | 需要液冷 |

| AI 机架（高密度） | 100 kW | 芯片级直接液冷 |

| 风冷极限 | ~30 kW 每机架 | 物理上限；超过此值，液冷为强制性 |

| PUE（液冷 AI） | ~1.06 | 最佳情况：设施负载 ≈ IT 负载 |

| PUE（最佳风冷） | ~1.12 | 超大规模最佳实践 |

| PUE（行业平均） | ~1.40 | 成本/碳排的合理性检查 |

| H100 TDP | 每 GPU 700 W | IT 负载：10,000 × 700 W = 7 MW |

表 C.9：功率与冷却参考数值：机架功率密度、风冷极限和 PUE 值，支配着车队规模的容量规划和可持续性报告。每行将一个典型值与其指导的工程决策配对。

经验法则：IT 负载 (MW) = (GPU 数量 × 每 GPU TDP)/10⁶；设施负载 = IT 负载 × PUE。一个包含 10,000 块 H100 GPU、每块 700 W 的集群，IT 负载为 7 MW；若 PUE 为 1.40，则设施总功耗为 9.8 MW。关于碳排和成本，请参阅 C.4 节和第 15 章。

当前硬件参考（约 2025–2026 年）

这些数值（表 C.10）反映了当前一代车队规模硬件的水平。可用于信封背面估算，但预计每 2–3 年性能会提升约 2 倍。

|---|---|---|---|

| 内存带宽 | 8 TB/s | 5.30 TB/s | 1.60 TB/s |

| HBM 容量 | 192 GB | 192 GB | 32 GB |

| TDP | 1000 W | 750 W | ~600 W (估算) |

表 C.10：车队规模硬件参考（约 2025–2026 年）：2025–2026 代各加速器的单卡规格。B200、MI300X 和张量处理单元 (TPU) v6 (Trillium) 代表了车队规模算力密度和内存带宽的前沿水平。

为了提供规模背景，一个 DGX H100 SuperPOD 包含 32 个 DGX H100 节点（256 块 H100 GPU）。Meta 宣布基于 Grand Teton 硬件平台建设了两个包含 24,576 块 H100 的数据中心级集群。Google 的 TPU v5p pod 规模可达 8,960 颗芯片。截至 2025 年，已宣布的最大集群规模超过 100,000 块加速器。

扩展物理学

上一节的数值描述了硬件能做什么。扩展物理学描述了当投入更多硬件时会发生什么。推理始于单个加速器的天花板——屋顶线模型——然后探究随着设备增加，什么因素得以保留，这由三个模型支配：扩展至车队开销的阿姆达尔定律、通信计算比，以及弱扩展行为。

单加速器屋顶线

车队性能建立在单加速器性能之上，而单加速器受限于两种资源之一：其算术单元维持的速率（峰值 FLOP/s）或其内存提供操作数的速率（HBM 带宽）。哪一种限制了给定的内核，取决于其算术强度 I，即从内存移动的每字节所执行的有效操作数，定义见公式 C.2：

\[I = \frac{\text{FLOPs}}{\text{移动字节数}} \qquad(C.2) \]

强度是工作负载的属性，而非硬件。大规模矩阵乘法具有高强度，因为每个从内存加载的权重可在许多买累加操作中复用；逐元素操作，或单个 token 的生成，强度较低，因为每个加载的值仅服务于一两次操作，随后便须获取下一个值。

屋顶线模型 (Williams 等 2009) 将强度转化为性能上限。公式 C.3 给出了可达吞吐率为计算上限与带宽限制斜率中的较小值：

R_attain = min(R_peak, I × BW) (C.3)

以强度为横轴绘制公式 C.3，会勾勒出一个屋顶：左侧为上升的带宽限制线，右侧为平坦的计算上限线。两者交汇于脊点，即工作负载首次饱和算术单元时的强度，定义见公式 C.4：

\[I_{\text{ridge}} = \frac{R_{\text{peak}}}{\text{BW}} \qquad(C.4) \]

强度 I < I_ridge 的工作负载受内存限制：它位于斜率上，更快的算术单元无济于事，因为操作数无法足够快地到达。强度 I > I_ridge 的工作负载受计算限制：它位于平坦屋顶下，受限于算术单元本身。

以 H100 为例——BF16 峰值 989 TFLOP/s，HBM 带宽 3.35 TB/s——其脊点为 295.2 FLOP/字节。工作负载必须在每获取一字节时执行数百次操作，方能让算术单元保持忙碌。

自回归解码远未达到该线，这正是其成为服务瓶颈的决定性原因。生成一个 token 需从 HBM 精确读取一次所有模型权重——8B 参数模型在 BF16 下为 16.1 GB——以执行约 16.1 GFLOP 的矩阵运算，强度仅为 1 FLOP/字节。这远低于脊点，因此单流解码纯粹受带宽限制：吞吐率即权重读取速率，约 208.6 tokens/s，无论加速器宣称多少算力。服务系统通过批处理众多请求来提升该强度，将每次权重读取摊销到批次中每个序列上，从而将解码推回计算屋顶。

屋顶线是单加速器定律，但其逻辑具有可扩展性。在车队层面，绑定带宽不再是 HBM 而是互联互通，移动的字节是跨越网络的梯度与激活值。网络字节数与本地算力之比即为通信计算比（C.3.3 节）：即车队的屋顶线，也是本节其余部分应用的透镜。

一个配备 4,096 块 GPU 的训练作业，吞吐率仅为 1,024-GPU 运行的 2.5 倍。这一观察意味着在较大规模下扩展效率约为 31.2%，因此扩展物理学提供了诊断工具，以判断系统是否按物理极限运行，抑或存在待修复的工程问题。

车队规模下的阿姆达尔定律

阿姆达尔定律确立了并行系统的最大加速比受其串行分数 s 限制。在车队规模下，“串行分数”不仅指顺序代码——它包含所有强制所有 N 块 GPU 等待的操作：

AllReduce 同步：所有 GPU 必须完成梯度计算，任一 GPU 方可继续。
流水线气泡：流水线并行的预热和冷却阶段导致各阶段空闲。
检查点写入：即使异步检查点也会争用存储带宽。
Python 层开销：训练循环中的单线程操作（数据加载、指标记录）。

为洞察车队规模影响，设想一训练工作负载，其 10% 的墙钟时间耗于同步、通信及其他串行开销。阿姆达尔定律给出以下加速比：

使用 32 GPU：7.8× 加速（效率良好）
使用 256 GPU：9.7× 加速（开始出现递减收益）
使用 1,024 GPU：9.9× 加速（接近上限）
使用 8,192 GPU：10× 加速（几乎达到 Amdahl 限制）
当 N → ∞ 时：上限为 10×

仅有 10% 的串行开销，无论使用多少硬件，对该固定工作负载都无法提供超过 10× 的加速比。这就是为什么舰队级训练不只是简单地为同一问题添加更多 GPU——而是通过弱规模放大问题规模（增加问题规模），以使串行部分相对于总工作量保持较小。

上述的 10% 串行比例是乐观估计。实际上，舰队级串行开销来自多个来源的累积：5% 的流水线气泡 + 3% 的检查点 + 10% 的故障恢复 + 5% 的维护。这些并非所有都严格符合 Amdahl 定义的串行操作——其中一些可以与计算重叠——但它们说明了每类微小开销如何快速累积为显著的吞吐量损失。

通信-计算比

任何分布式训练策略的核心问题是：同步点之间的计算是否足够长，以掩盖通信开销？ Equation C.5 定义了直接回答此问题的 通信-计算比（ρ）：

ρ = T_comm(N) / (T_compute / N)        (C.5)

当 ρ < 1 时，计算占主导，通信可以被重叠。当 ρ > 1 时，系统处于 通信受限 状态——GPU 在等待数据上花费的时间多于在其上进行计算的时间。

Table C.11 展示了三种典型场景下的比率。它们之间的对比揭示了为什么并行策略必须匹配工作负载。

| 场景 | T_comm(N) | T_compute/N | ρ |

| --- | --- | --- | --- |

表 C.11：通信-计算比（ρ）：当 ρ ≪ 1 时，通信可以完全与计算重叠。当 ρ ≫ 1 时，系统处于通信受限状态，GPU 处于空闲等待数据。节点内的张量并行受益于 NVLink 的高带宽，使 ρ 保持较小。

在 256 GPU 上运行的 7B 模型达到 ρ = 0.11——通信耗时约为计算的 11.2%，可以部分重叠。同一集群上的 350M 模型具有 ρ = 3——通信占主导，使此配置成为通信受限。解决方案要么是使用更少的 GPU（减少 AllReduce 中的 N），要么是增加每步的计算量（更大的批处理大小、梯度累积）。

节点内的张量并行达到 ρ = 0.036，证实了 NVLink 带宽足以使节点内并行保持计算受限。这是张量并行局限于节点内而数据并行跨越节点的量化原因。

舰队级的弱规模

Amdahl 定律描绘了一幅悲观图景，因为它假设问题规模固定。实际上，舰队级训练通常遵循 弱规模：问题规模（标记、数据、模型参数）随着 GPU 数量的增加而成比例增长。古斯塔夫森定律提供了更乐观的视角（Gustafson 1988）。

舰队级机器学习的关键洞察在于：弱规模不仅是一种数学便利——它反映了现实。工程师不会使用 8,192 GPU 来更快地训练一个 7B 模型；他们使用这些 GPU 在合理时间内训练一个 70B 或 700B 模型。随着模型和训练批次的增长，工程师通常会增加同步点之间的计算量。对于密集型 Transformer，计算通常估算为约 6× 参数数 × token 数，而梯度通信按参数字节数缩放，因此通信-计算比 ρ 依赖于批次大小、序列长度、累积和并行布局，而不仅仅取决于参数数量。

1,024 GPU 的 H100 集群峰值总吞吐量为 1,012,736 TFLOP/s。在考虑三个乘法损失后，有效吞吐量为：

R_eff = N × R_peak × MFU × η_scaling × η_goodput
      = 1,012,736 TFLOP/s × 0.50 × 0.50 × 0.77 ≈ 194,951.7 TFLOP/s

该集群仅提供其峰值 FLOP/s 的 19.2% 作为有用训练工作。剩余的 80.8% 由 50% 的 MFU、50% 的规模效率和 77% 的 goodput 共同解释。

这不是工程失败——这是舰队级计算的物理现实。每增加一个 GPU，其带来的有用工作边际收益递减，但总吞吐量仍远超小型集群所能达到的水平。目标不是达到 100% 利用率；目标是比任何更小的配置更快地交付训练好的模型。

热力与功率物理

计算性能最终转化为热量，而热量必须被移除。在舰队级规模下，热力和功率限制不是次要问题——它们决定了施工的可行性、加速器可以多密集地堆放，以及运行成本会是多少。一个在架构上合理但热力上不可行的集群无法被建造。

一个要求 10,000 颗 H100 GPU，每颗功耗 700 W——即 7 MW 的 IT 负载——并且 PUE 为 1.40 的集群设计，将使设施总负载达到 9.8 MW。这相当于一个小城镇的用电量。在优化软件之前，必须先确保供电和散热的物理可行性。

功率密度墙

从传统数据中心工作负载向 AI 训练的转变导致了 功率密度危机。Table C.12 量化了这一差距。

| 配置 | 每机架功耗 | 冷却影响 |

| --- | --- | --- |

| 传统数据中心 | 12 kW | 标准空气冷却足够 |

| AI 集群（当前一代） | 70 kW | 需要液冷 |

| AI 集群（高密度） | 100 kW | 需要直接到芯片液冷 |

| 空气冷却上限 | ~30 kW | 强制对流空气冷却的物理上限 |

表 C.12：功率密度：传统 vs. AI 工作负载：AI 机架消耗的功率大约是传统机架的 5.8 倍。空气冷却在每机架功耗超过 ~30 kW 时物理上无法快速散热，因此现代 AI 集群必须使用液冷。

传统与 AI 工作负载之间机架功率密度的 5.8 倍增加不仅仅是一个工程挑战——它代表了对设施设计的基本限制。为 12 kW 机架建造的现有数据中心，无法仅通过“改装” AI 硬件来应对。电力分配、冷却基础设施和楼板承载都必须重新设计。这就是为什么新建的 AI 聚焦数据中心是从零开始建造的，并以液冷作为基线假设。

规模层级中的能源层次

电源使用效率（PUE）衡量设施能源开销：总设施能源除以 IT 设备能源（The Green Grid 2007）。PUE 为 1.0 时表示所有设施能源都输送到了 IT 设备；高于 1.0 的值代表冷却、功率转换、照明和其他设施系统的开销。

Table C.13 比较了不同数据中心世代和冷却技术的 PUE。

| 数据中心类型 | PUE | 每 MW IT 负载的开销 |

| --- | --- | --- |

| 液冷 AI 数据中心 | 1.06 | 60 kW 冷却 + 基础设施 |

| 佳得无空气冷却 | 1.12 | 120 kW 开销 |

| 行业平均值 || 1.40 || 400 kW 开销 |

| 传统企业级 || 1.58 || 580 kW 开销 |

表 C.13：电源使用效率 (PUE)：越低越好。液冷可实现接近 1.0 的 PUE，因为它直接从芯片移除热量，无需先加热空气这一中间步骤。传统数据中心 (1.58) 与液冷数据中心 (1.06) 之间的差距，代表在固定 IT 负载下总设施用电量约 32.9% 的降低；非 IT 开销从每兆瓦 IT 负载 0.58 兆瓦降至 0.06 兆瓦。

对于车队规模的成本计算，PUE 直接乘以电费账单。传统数据中心 (PUE 1.58) 中的 10 兆瓦 IT 负载需要 15.8 兆瓦总功率，而液冷设施 (PUE 1.06) 中的相同负载仅需 10.6 兆瓦——节省了 5.2 兆瓦。按典型商业电价计算，这一差额每年可节省数百万美元。第 15 章涵盖了完整的可持续性影响。

总结

三大范式，一融合：ML 集群将 HPC 的紧耦合（用于训练）与 WSC 的弹性容错（用于推理）相结合，创造了一种新的架构范式，无法完全采用任一前身的模式。
带宽鸿沟：NVLink 提供的单向带宽比 InfiniBand NDR 高约 9 倍。这一不变比率决定了并行性布局：节点内张量并行，节点间数据并行。
故障在大规模下成常态：集群 MTBF 随 1/N 缩放。在 8,192 块 GPU 下，预计约每 366.2 分钟发生一次 GPU 故障，24 小时内发生故障的概率为 98.04%。容错不是可选项——它是完成任何车队规模训练作业的先决条件。
复合利用率损失：在 MFU (~50%)、扩展效率 (~50%) 和运营开销后的有效吞吐率 (~77%) 复合作用下，1,024-GPU 集群仅能交付约 19.2% 的峰值 FLOP/s 作为有效工作。
功率密度倒逼液冷：AI 机架功耗是传统机架的 5.8 倍。风冷在 ~30 kW/机架以上失效，使得液冷成为现代 AI 集群的物理刚需。
通信计算比 (ρ) 主导扩展策略：当 ρ > 1 时，GPU 空闲等待数据——需减少并行度或增加每步计算量。当 ρ ≪ 1 时，通信可完全重叠隐藏。
弱扩展是车队规模范式：工程师不使用更多 GPU 来更快解决同一问题（强扩展）；而是用更多 GPU 在合理时间内解决更大规模问题。这能保持串行部分占比小、利用率高。

通信

目的

什么通信原语将车队绑定在一起？我们如何在不运行任何实验的前提下预测其成本？

分布式 ML 训练花费了惊人的大量墙钟时间在通信而非计算上。一次大规模分布式训练运行，可能将每次迭代的很大一部分时间用于同步梯度、重新分布激活值或打乱专家 Token。当通信开销成为瓶颈时，再快的算力也无济于事。问题的焦点从“多少 FLOPs？”转移到“多少字节、跨何种拓扑、延迟多少？”本附录收集了能定量回答这些问题的通信成本模型：启动延迟与带宽模型、分布式训练中用到的每一种集合操作的成本、流水线气泡开销，以及梯度压缩的经济性。这些模型支撑全书使用的分布式策略、集合算法、容错机制和性能分析。用 C³ 术语说，本附录展开通信轴——即跨车队移动字节的成本。

如何使用本附录

本附录设计为参考手册。当需要将分布式训练症状（“AllReduce 慢”、“流水线气泡扼杀吞吐”、“是否应压缩梯度？”）转化为定量诊断时，请查阅它。

此处使用的约定遵循全书统一符号。我们用 α 表示单消息启动延迟，β 表示链路带宽 (字节/秒)，n 表示点对点消息大小，n^(*) 表示 α-β 临界点，N 表示参与 GPU 数量，M 表示集合操作载荷大小 (字节)。

AllReduce 慢时：使用 D.2 节计算预期时间并对比环形与树形算法成本。
选择环形还是树形时：使用 D.3 节和临界点分析，将算法与消息大小匹配。
流水线气泡主导时：使用 D.4 节计算气泡比例并确定所需微批次数。
提议梯度压缩时：使用 D.5 节做盈亏平衡计算，再决定是否投入工程精力。

α-β 通信模型

在确定集群拓扑前，必须先估算跨 256 块 GPU 进行梯度同步需要多长时间。α-β 模型是网络领域的“屋顶线模型”：仅凭两个硬件参数和消息大小，即可给出传输时间的的一阶预测。

网络上的每一次点对点传输都遵循同一基本模式：发送方支付固定启动成本来发起消息，随后以链路带宽决定的速率传输载荷。这一双参数模型捕捉了网络通信的本质物理规律。

α-β 模型**，由公式 D.1 给出，预测传输 n 字节点对点消息的时间：

T(n) = α + n/β   (D.1)

其中：

α 为 启动延迟 (秒)——发起消息的固定成本，含软件开销、NIC 处理和路由建立
β 为 链路带宽 (字节/秒)——启动后的持续数据速率
n 为 消息大小 (字节)

该模型将每次传输分解为恰好两项成本：无论大小都要缴纳的单消息税 (α)，以及随载荷线性缩放的单字节税 (n/β)。这种分解驱动 D.3 节中所有算法选择决策。

表 D.1 列出了 ML 训练集群常见互联的 α 和 β 值。这些数字是本附录中每一次通信成本估算的起点。

| 互联类型 || α (延迟) || β (带宽) || 典型角色 |

| NVLink 4.0 (H100) || 500 ns || 450 GB/s || 节点内 GPU 间 |

| PCIe Gen5 || 1000 ns || 64 GB/s || CPU-GPU、NIC-GPU |

| InfiniBand NDR (400 Gbps) || 5 μs || 50 GB/s || 节点间 (高端集群) |

| InfiniBand HDR (200 Gbps) || 7 μs || 25 GB/s || 节点间 (上一代) |

| RoCE v2 (100 GbE) || 10 μs || 12.5 GB/s || 节点间 (以太网集群) |

| TCP/IP (以太网) || 50 μs || 不定 || 控制平面、非 RDMA 回退 |

表 D.1：各互联的 α-β 参数：ML 集群使用的互联启动延迟与持续带宽。β 列采用单向/每方向带宽，因此 H100 NVLink 条目是 900 GB/s 双向聚合规格的一半。NVLink 与 PCIe 工作在节点内；InfiniBand 与 RoCE 工作在节点间。TCP 延迟主要源于内核软件栈开销。

延迟主导与带宽主导两种机制

\(\alpha\)-\(\beta\) 模型揭示了两种不同的运行模式。对于小消息，启动延迟 \(\alpha\) 占主导——链接大部分时间花在启动传输上，而不是维持传输上。对于大消息，带宽项 \(n/\beta\) 占主导，启动成本变得可以忽略不计。

交叉消息大小 \(n^{(*)}\) 定义为公式 D.2，即两项贡献相等的点：

\(n^{(*)} = \alpha \times \beta\) (D.2)

在 \(n^{(*)}\) 以下，通信是延迟主导的：发送更多小消息会在重复启动上浪费时间。在 \(n^{(*)}\) 以上，通信是带宽主导的：链接被充分利用，提高速度的唯一方法是增加带宽。

设置：InfiniBand NDR 的 \(\alpha = 5 \mu s\) 和 \(\beta = 50 GB/s\)。

问题：在什么消息大小下，带宽项等于延迟项？

数学：

\(n^{(*)} = \alpha \times \beta = 5 \mu s \times 50 GB/s = 250 KB\)

分析：在 IB NDR 上，小于 250 KB 的消息是延迟主导的。大型模型单层的梯度张量通常为 10–100 MB——远高于此阈值。然而，控制消息、心跳和屏障同步却远低于此阈值。

系统洞察：这就是为什么 NCCL 和 Gloo 在启动 AllReduce 前会将小梯度张量批量合并为更大的“桶”。如果逐个发送每个张量，每次迭代将会支付数百次 5 \(\mu s\) 的启动成本，而不是仅几次。

LogGP 模型扩展

\(\alpha\)-\(\beta\) 模型假设消息是单个的、原子的传输。实际上，网络会对消息进行流水线处理：发送方可以在前一个消息完全接收之前注入新的数据包。LogGP 模型(Alexandrov et al. 1995) 在 LogP 的基础上引入了长消息间隔参数：

\(g\) (间隔)：发送方连续消息注入之间的最小间隔。这模拟了 NIC 的注入速率限制。
\(o_{send}\)，\(o_{recv}\) (开销)：处理器在发起或完成消息时消耗的 CPU 时间，在此期间它无法执行有用的计算。

对于长度为 \(n\) 字节的长消息，LogGP 模型将传输时间近似为：\(T_{long}(n) \approx o_{send} + L_{LogGP} + (n - 1)G + o_{recv}\)

其中 \(L_{LogGP}\) 是网络延迟，\(o_{send}\) 和 \(o_{recv}\) 是发送方和接收方的开销，\(G\) 是长消息每字节的间隔，\(g\) 控制连续消息注入之间的最小间隔。非正式的 \(\alpha\)-\(\beta\) 风格近似在 ML 性能分析中可能有用，但标准 LogGP 模型将这些间隔参数与简单的带宽项明确区分开来。

在大多数 ML 训练场景中，\(\alpha\)-\(\beta\) 模型已经足够，因为梯度张量足够大，以至于流水线效应相对于原始带宽来说是次要的。当需要分析许多小控制消息的开销，或建模通信与计算重叠的交互时，LogGP 模型变得重要——这种情况在细粒度流水线并行和异步梯度更新中经常出现。

\(\alpha\)-\(\beta\) 模型描述点对点传输。集合操作——所有 GPU 参与——由多个点对点传输组成，其成本公式直接源自上述模型。

集合操作复杂性

每个分布式训练步骤以集合同步结束。该集合的成本——而非矩阵乘法的成本——往往决定从 8 个 GPU 扩展到 256 个 GPU 是否可行。了解每个集合的确切复杂性，可揭示在给定规模下哪种并行策略（数据、张量、流水线、专家）将主导墙钟时间。

集合操作同时在所有 \(N\) 个 GPU 之间移动数据。每个集合操作都有一个特征带宽项（流动的数据量）和延迟项（所需的顺序消息步数）。以下公式使用带宽最优环算法，除非另有说明；第 D.3 节讨论了何时其他算法更优。

AllReduce

AllReduce 是数据并行训练的工作机制：每个 GPU 从大小为 \(M\) 字节的局部梯度张量开始，最终得到全局规约（求和）结果。环算法将 AllReduce 分解为 ReduceScatter 阶段和 AllGather 阶段。环形 AllReduce 时间由公式 D.3 给出：

T_{ring} = 2 * (N - 1)/N * M/\beta + 2(N - 1) * \alpha (D.3)

带宽项中的因子 \(2(N - 1)/N\) 随着 \(N\) 的增长趋近于 2——每个字节实际上在环中遍历了两次（一次用于 reduce-scatter，一次用于 all-gather）。延迟项随着 \(N\) 的增长呈线性增长，这使得环算法在大规模 GPU 数量下在延迟方面代价高昂。

相比之下，树形 AllReduce 的成本如公式 D.4 所示：

T_{tree} = 2 * log_2 N * M/\beta + 2 * log_2 N * \alpha (D.4)

树形算法用延迟效率换取带宽效率：延迟项以 \(log_2 N\) 的速度增长，而不是 \(N\)，但带宽项在树的每一层发送完整的消息 \(M\)，而不是 \(M/N\) 的块。

设置：256 颗 H100 GPU 通过 InfiniBand NDR 相连 (\(\alpha = 5 \mu s\)，\(\beta = 50 GB/s\))。梯度张量为 1 GB（FP16 精度下的 500M 参数模型）。

问题：环形和树形 AllReduce 各需多长时间？

环形 AllReduce：

\(T_{ring} \approx 42.4 ms\)

树形 AllReduce：

\(T_{tree} \approx 320.1 ms\)

分析：对于此 1 GB 消息，环形 AllReduce 需要 42.4 ms，而树形需要 320.1 ms——环形显著更快，因为它将带宽负载分散到所有链路上。树形的延迟优势（对数增长）相比其在大消息下的带宽惩罚可以忽略不计。

系统洞察：对于数据并行训练中典型的大梯度张量，环形（或基于环形的）算法占主导。树形算法仅在消息很小时或延迟而非带宽是瓶颈时有用。

AllGather

AllGather 是 ReduceScatter 的互补操作：每个 GPU 从大小为 \(M/N\) 的分片开始，最终得到完整的 \(M\) 字节张量。它是完全共享数据并行（FSDP）中重构参数（在每次前向传递前）的核心通信原语，也是在张量并行中重新组装分裂激活的核心原语。

环形 AllGather，由公式 D.5 给出：

T_{allgather} = (N - 1)/N * M/\beta + (N - 1) * \alpha (D.5)

AllGather 的成本恰好是 AllReduce 的一半（一次环形传递而不是两次），因为它不包含归约步骤。

ReduceScatter

ReduceScatter 是 AllGather 的对偶操作：每个 GPU 从完整的 \(M\) 字节张量开始，最终得到包含该分片全局规约值的 \(M/N\) 大小的分片。它是 FSDP 和 ZeRO 中梯度同步的原语，当每个 GPU 只需要其自身参数分片的梯度时，用更廉价的操作替代完整的 AllReduce。

环形 ReduceScatter，由公式 D.6 给出：

T_{reducescatter} = (N - 1)/N * M/\beta + (N - 1) * \alpha (D.6)

这种对称性并非偶然：环形 AllReduce 分解为一次 ReduceScatter 和一次 AllGather，它们的成本正好相加等于公式 D.3。

AllToAll

AllToAll 是最通用的集合操作：每个 GPU 向每个其他 GPU 发送一个不同的 \(M/N\) 大小的数据块，并从每个 GPU 接收一个不同的数据块。它是混合专家（MoE）架构的路由原语，其中令牌必须被调度到正确的专家，并且结果被收集回来。

环形 AllToAll，由公式 D.7 给出：

T_alltoall 时间：

\[T\_{\\text{alltoall}} = \\frac{N - 1}{N} \\cdot \\frac{M}{\\beta} + (N - 1) \\cdot \\alpha \\qquad(D.7) \]

虽然该公式与 AllGather 和 ReduceScatter 形式相同，但通信模式根本不同：AllToAll 是个性化交换（每个 GPU 向每个对等体发送不同的数据），这使得它更难与计算重叠，且对网络拥塞更敏感。

Broadcast

Broadcast 将来自一个根 GPU 的单个 M 字节张量发送到其他 N − 1 个 GPU。它用于在训练过程中分发初始模型权重、更新的学习率和配置更改。

树形广播由 Equation D.8 给出：

\[T\_{\\text{broadcast}} = \\log\_2 N \\left(\\alpha + \\frac{M}{\\beta}\\right) \\qquad(D.8) \]

广播本质上是非对称的（一个发送者，多个接收者），因此树形拓扑是自然的选择。在未分段的树形广播中，完整的 M 字节有效载荷在每个树级别上被转发，因此延迟和带宽项都出现在 log[2]N 级关键路径上。分段或散射-全集合广播变体可以减少带宽项，但它们需要不同的特定于算法的模型。

集体操作复杂性总结

在已有各个公式的基础上，Table D.2 提供了一个紧凑的参考，用于比较每个集体操作的成本结构。

| 操作 || 带宽项 || 延迟项 || 主要用例 |

| --- | --- | --- | --- |

| AllReduce (环) || \(2 \\cdot \\frac{N-1}{N} \\cdot \\frac{M}{\\beta}\) || 2(N − 1) ⋅ α || 数据并行梯度同步 |

| --- | --- | --- | --- |

| AllReduce (树) || \(2\\log\_2 N \\cdot \\frac{M}{\\beta}\) || 2log[2]N ⋅ α || 小消息同步 |

| AllGather (环) || \(\\frac{N-1}{N} \\cdot \\frac{M}{\\beta}\) || (N − 1) ⋅ α || FSDP 参数重构 |

| ReduceScatter (环) || \(\\frac{N-1}{N} \\cdot \\frac{M}{\\beta}\) || (N − 1) ⋅ α || FSDP/ZeRO 梯度分片 |

| AllToAll (环) || \(\\frac{N-1}{N} \\cdot \\frac{M}{\\beta}\) || (N − 1) ⋅ α || MoE 专家路由 |

| Broadcast (树) || \(\\log\_2 N \\cdot \\frac{M}{\\beta}\) || log[2]N ⋅ α || 权重分发、配置同步 |

Table D.2: 集体操作成本摘要：环形和树形算法的带宽和延迟项。带宽项决定大消息（梯度、参数）的成本；延迟项决定小消息（标量、屏障）的成本。N = GPU 数量，M = 总消息大小（字节）。

从该表中可以看出两种模式。首先，带宽最优的环形算法都共享（N − 1)/N 因子，当 N 很大时，该因子趋近于 1。每个秩的通信因此趋近于 M 的常数倍：大约为 2M（AllReduce），或 M（AllGather、ReduceScatter 或 AllToAll）。总流量仍然随秩数量的增加而增加。其次，环形算法的延迟项随 N 线性增长，而树形算法的延迟项随 log N 增长，这形成了下文将分析的算法选择权衡。

算法选择

NCCL 根据消息大小和 GPU 拓扑自动选择集体算法，但理解为什么它为大消息选择环形、为小消息选择树形，有助于诊断自动选择何时次优——以及如何构建通信以保持在高效范围内。

环形 vs. 树形 vs. 递归倍半减法

环形算法最小化带宽使用，但付出的代价是延迟成本随 N 线性增长。树形算法最小化延迟，但由于在每个级别发送完整消息而浪费带宽。递归倍半减法则折中：在 reduce 阶段使用倍半（类似于树），在 gather 阶段使用倍增，从而在带宽方面近似最优，同时达到 𝒪(log N) 的延迟步骤。

环形算法和树形算法之间的决策边界取决于消息大小：

M ≫ n^(*) (大梯度)：使用环形。带宽项占主导，环形的（N − 1)/N 因子是最优的。
M ≪ n^(*) (屏障、标量)：使用树形。延迟项占主导，树形的 log[2]N 步远少于环形的 2(N − 1)。
M ≈ n^(*) (中等张量)：使用递归倍半减法以获得平衡性能，或进行经验测试。

Table D.3 提供了选择正确算法的指导。

| regime || 环形 || 树形 || 递归倍半减法 |

| --- | --- | --- | --- |

| 大消息 (M > 10 × n^(*)) || 最佳——最优带宽利用率 || 差——在每个树级别发送 M || 良好——近似最优带宽，𝒪(log N) 延迟 |

| --- | --- | --- | --- |

| 小消息 (M < n^(*)/10) || 差——2(N − 1) 启动成本占主导 || 最佳——log[2]N 启动成本 || 良好——𝒪(log N) 启动成本 |

| 中等消息 (M ≈ n^(*)) || 可接受 || 可接受 || 最佳——平衡两项 |

| 2 的幂次 N || 适用于任何 N || 当 N = 2^(k) 时最佳 || 要求 N = 2^(k) |

Table D.3: 算法选择指南：不同消息大小和 GPU 数量下，环形、树形和递归倍半减法的优势和劣势。n^(*) = α × β 是 Equation D.2 中的交叉消息大小。

层次化 AllReduce

现代集群具有两级拓扑：节点内的 GPU 通过 NVLink（450 GB/s）相连，而节点之间通过 InfiniBand（50 GB/s）相连。层次化 AllReduce 通过三个阶段利用这种不对称性：

节点内 reduce（NVLink）：每个节点使用 NVLink 的 450 GB/s 带宽，将其 8 个本地 GPU 减少为单个结果。这是因为 NVLink 的单向速率是 InfiniBand NDR 端口的 9 倍，因此速度很快。
节点间 AllReduce（InfiniBand）：各节点的部分结果在节点之间进行 all-reduce。由于每 8 个本地 GPU 仅有一个代表参与，因此节点间环形的参与者数量仅为完全 GPU 级别环形的八分之一。
节点内广播（NVLink）：每个节点将全局结果广播到其 8 个本地 GPU。

层次化方法将节点间环形的规模从所有 GPU 减少到每 8 个本地 GPU 一个代表，使延迟步骤项减少约 8 倍，并将带宽密集型阶段限制在快速的节点内链路上。NCCL 会根据集体操作、消息大小、拓扑、架构和版本，在诸如 Ring、Tree、CollNet 变体、NVLS/NVLSTree 和 PAT 等拓扑感知算法之间进行选择；层次化通信在多节点系统中很常见，但不是普遍默认值。

理解集体操作的成本结构有助于推理数据并行开销。然而，流水线并行 ism 引入了一种不同的开销：由流水线阶段之间的顺序依赖导致的空闲时间。下一节将对该开销进行量化。

流水线算术

流水线并行 ism 将模型拆分到多个 GPU 上，使得每个 GPU 仅保存一部分层。其权衡是气泡时间：GPU 因等待上游或下游阶段的激活或梯度而处于空闲的周期。量化气泡分数可以揭示在给定规模下，流水线并行 ism 是否值得增加复杂性。

气泡分数

在具有 p 个阶段和 m 个微批次的流水线中，Equation D.9 将气泡分数定义为总 GPU 时间中处于空闲状态的比例：

\[b\_{\\text{pipe}} = \\frac{p - 1}{p - 1 + m} \\qquad(D.9) \]

此公式同时适用于 GPipe（所有前向传播在任何后向传播开始之前完成）和 1F1B（一前一后交错）调度。1F1B 调度具有相同的渐近气泡分数，但由于其提前退役微批次，使用的峰值内存更少。

附录 D：通信与流水线成本模型

流水线气泡比例

关键洞察：气泡比例取决于流水线阶段数与微批次数的比值。增加微批次数（在阶段数固定的情况下）会将流水线的填充和排空开销摊销到更多的有效工作中。

经验法则：将气泡开销维持在 20% 或以下需要 m ≥ 4(p − 1)；严格低于 20% 需要 m > 4(p − 1)。实用法则 m ≥ 4p 是一个方便的保守目标。

表 D.4 展示了气泡比例如何随流水线深度和微批次数变化。

| 流水线阶段数 (p) | m = 8 | m = 16 | m = 32 | m = 64 |

| :--- | :---: | :---: | :---: | :---: |

| p = 4 | 27.3% | 15.8% | 8.6% | 4.5% |

| p = 8 | 46.7% | 30.4% | 17.9% | 9.9% |

表 D.4：流水线气泡比例：各种阶段数和微批次数下因流水线气泡损失的 GPU 时间百分比。低于 20%（典型目标）的数值要求 m ≥ 4p。

交错调度

交错调度（Megatron-LM 中采用）为每个物理 GPU 分配 V 个虚拟阶段，而不是仅分配一个。每个 GPU 处理 V 个非连续的模型块，这意味着流水线拥有 p × V 个虚拟阶段，但正如公式 D.10 所示，气泡开销使用的是原始的 p：

b_interleaved = (p - 1) / (p - 1 + m × V)   (D.10)

与公式 D.9 相比，分母中的微批次项乘以了 V，因此当 m 占主导地位时（即 m 远大于 p - 1），气泡减少幅度接近 V 倍。对于 p = 8、m = 16 和 V = 4，气泡比例从 30.4% 降至 9.9%，实现了 3.1 倍的减少，代价是阶段间需要更频繁、更小粒度的通信。

交错调度凸显了分布式机器学习中一个反复出现的主题：通信粒度是一个可调节的旋钮。更小、更频繁的传输能改善重叠并减少空闲时间，但会增加累积延迟开销。同样的权衡也出现在梯度压缩中，这是本附录中的最后一个成本模型。

压缩经济学

梯度压缩承诺将通信量减少 10–1000 倍，使 AllReduce 几乎“免费”。然而，压缩也有开销（编码和解码时间），只有当该开销小于其节省的通信时间时，压缩才有帮助。快速的盈亏平衡分析可避免在实际上无法加速训练的压缩方案上浪费精力。

压缩方程

梯度压缩将原始的 M 字节梯度替换为大小为 M / r_comp 的压缩表示，其中 r_comp 为压缩比。公式 D.11 表达了压缩后的总时间：

T_compressed = T_encode + T_transfer(M / r_comp) + T_decode   (D.11)

当 T_compressed < T_transfer(M) 时压缩才有益。重排该不等式可得出公式 D.12 中的盈亏平衡条件：

T_encode + T_decode < T_transfer(M) - T_transfer(M / r_comp)   (D.12)

在带宽受限区域（M ≫ n*），通信时间随消息大小线性缩放，右侧约等于 T_transfer(M) × (1 − 1/r_comp)。对于高压缩比（r_comp ≫ 1），这趋近于 T_transfer(M)——意味着只要编解码器开销小于未压缩的通信时间，压缩就是值得的。

场景设定：在 InfiniBand NDR 上跨 256 块 H100 GPU 进行 1 GB 梯度的环形 AllReduce，未压缩耗时 42.4 ms。一种 Top-k 稀疏化方案实现了 64× 压缩，总编码 + 解码开销为 2 ms。

问题：压缩能否减少总 AllReduce 时间？

计算：

未压缩 AllReduce：42.4 ms
压缩后通信：3.2 ms
压缩总耗时：5.2 ms
加速比：8.2×

结果：压缩在通信时间上实现了 8.2× 加速。2 ms 的编解码器开销仅占 42.4 ms 未压缩基线的一小部分。

系统洞察：在此规模下（256 GPU，1 GB 梯度），梯度压缩显然是划算的。然而，必须验证其对收敛的影响：Top-k 稀疏化会丢弃信息，模型可能需要更多迭代才能达到相同精度，从而可能抵消每次迭代的加速优势。

表 D.5 展示了盈亏平衡编解码器开销如何随压缩比和未压缩 AllReduce 时间变化。更高的压缩比能容忍更大的编解码器开销。

| :--- | :---: | :---: | :---: |

| 4× | 7.5 | 30 | 75 |

| 16× | 9.4 | 37.5 | 93.8 |

| 64× | 9.8 | 39.4 | 98.4 |

| 256× | 9.96 | 39.8 | 99.6 |

表 D.5：压缩盈亏平衡阈值：压缩减少总时间所能容忍的最大编解码器开销（编码 + 解码），计算公式为 T_transfer(M) × (1 − 1/r_comp)。在高压缩比下，几乎整个未压缩的 AllReduce 时间都可作为编解码器预算。

总结

α-β 模型：该模型（T(n) = α + n/β）将每次网络传输分解为固定的启动成本和与载荷成正比的带宽成本。临界消息大小 n* = α × β 决定了哪种成本占主导。
基于环的集合通信：AllReduce、AllGather、ReduceScatter 和 AllToAll 以 (N − 1)/N 的因子实现带宽最优通信，但其延迟项随 GPU 数量线性增长。基于树的算法以带宽换取对数级的延迟缩放。
算法选择：相对于 n* 的消息大小决定算法：大消息（梯度）用环，小消息（屏障）用树，多节点集群用分层两级方案。
流水线气泡比例：b_pipe = (p − 1)/(p − 1 + m) 是流水线并行的基本开销。实用法则 m ≥ 4p 将气泡控制在 20% 以下，而采用 V 个虚拟阶段的交错调度在微批次项占主导时，能使气泡减少幅度接近 V 倍。
梯度压缩：当编解码器开销（编码 + 解码）小于节省的通信时间时，梯度压缩有利可图。在带宽受限区域的高压缩比下，几乎整个未压缩的 AllReduce 时间都可作为开销预算——但必须始终验证收敛影响。
四个参数预测通信成本：本附录中的点对点和集合通信模型源自两个硬件参数（α 和 β）和两个负载参数（消息载荷 n 或 M，以及集合通信的参与者数量 N）。测量集群的这些量可得出分布式训练开销的一阶完整预测，流水线和压缩部分按前述引入了额外参数。

可靠性基础

目的

在舰队规模下，故障如何成为统计上的必然，数学对恢复有何要求？

单个加速器罕见故障，但机群会将组件故障率成倍放大，直至故障成为持续运行状态。

在集群规模下，预期故障间隔时间从数年缩短至数小时，恢复成为正常执行的一部分，而非例外事件。本附录收集了参考计算，用于从定量角度推理大规模场景下的故障、恢复和可用性，为容错策略、机群编排策略和运维实践提供数学工具。在 C³ 术语中，它发展了协调轴，其中检查点、恢复和可用性决定了机群的计算和通信有多少转化为有用工作。

如何使用本附录

本附录旨在作为参考资料，旨在帮助从直觉认知（“规模越大故障越频繁”）过渡到定量工程决策（“应该多久做一次检查点？”或“需要多少备用节点？”）。

除非另有说明，本附录中的演算示例使用标准的 10,000 GPU 训练机群。

故障发生频率如何？——从 E.1 节和 E.1.2 节中的 MTBF 级联开始。
应该多久做一次检查点？——使用 E.2.1 节中的 Young-Daly 模型和 E.2.3 节中的演算示例。
恢复会损失多少时间？——请参阅 E.3.1 节中的恢复剖析和 E.3.2 节中的有效吞吐分析。
应使用冗余还是检查点？——在 E.4.1 节中对比策略，并在 E.4.2 节中了解可用性堆叠。

大规模场景下的故障概率

考虑一个在 10,000 GPU 集群上运行 30 天的训练任务。该期间至少有一个建模节点组件发生故障的概率是多少？答案——实际上 100%——决定了系统是否需要将容错作为核心设计要求，而非可有可无的锦上添花。本节的计算使该判定更加精确。

单个硬件组件非常可靠。数据中心级 GPU 在故障前可运行数万小时。然而，大规模系统的物理特性不利于可靠性：每增加一个组件，就增加一次故障机会，且聚合故障率随组件数量线性扩展。本节推导将组件级可靠性转化为系统级故障预测的算术逻辑。

组件故障率

可靠性工程师使用两个互补指标来表征组件。单位时间故障数（FIT，Failure in Time） 率统计每 10⁹ 设备运行小时的故障次数——之所以选择该单位，是因为单个组件故障极其罕见，若用每小时故障数会产生不方便的极小数值。其倒数量，平均故障时间（MTTF，Mean Time To Failure），以小时为单位给出平均寿命，计算公式见公式 E.1：

MTTF = 10⁹ / FIT \qquad(E.1)

表 E.1 列出了典型 GPU 训练节点中常见组件的参考 FIT 率和 MTTF 值，基于大规模机群和仓库级规模经验 (Kokolis et al. 2025; Zu et al. 2024; Barroso et al. 2019)。这些值假设为浴盆曲线的稳态“有效寿命”阶段，此时故障率近似恒定——既不以幼年期故障（早期失效）为主，也不以耗损期故障（寿命末期）为主 (Klutke et al. 2003)。

| :--- | :--- | :--- | :--- | :--- |

| GPU | 20,000 | 50,000 小时 | 5.7 年 | 芯片缺陷、热疲劳 |

| HBM | 5,000 | 200,000 小时 | 22.8 年 | 位翻转累积、TSV |

| NIC | 6,666.7 | 150,000 小时 | 17.1 年 | 收发器退化 |

| PSU | 10,000 | 100,000 小时 | 11.4 年 | 电容老化 |

| PCIe Switch | 5,000 | 200,000 小时 | 22.8 年 | 焊点、ESD 损坏 |

| Optical Cable | 20,000 | 50,000 小时 | 5.7 年 | 光纤弯曲、连接器磨损 |

| ToR Switch | 3,333.3 | 300,000 小时 | 34.2 年 | ASIC 故障、风扇轴承 |

表 E.1：组件故障率：稳态有效寿命阶段的量级参考 FIT/MTTF。基于大规模 GPU 研究集群分析 Kokolis et al. (2025)、TPUv4 超级计算机弹性与运维 Zu et al. (2024) 以及仓库级机器设计 Barroso et al. (2019)。

每个组件单独来看都高度可靠——GPU 平均寿命 5.7 年。麻烦始于我们询问：当节点拥有许多此类组件同时运行时，其表现如何。

MTBF 级联

计算节点是一个串联系统：任一组件故障即导致节点故障。对于具有恒定故障率的独立组件，公式 E.2 将各个故障率求和得到节点级故障率：

1 / MTBF_node = n_gpu / MTTF_gpu + n_nic / MTTF_nic + n_psu / MTTF_psu + ... \qquad(E.2)

可将每个组件视为一个倒计时走向故障的时钟。拥有 8 个 GPU、2 个 NIC 和 2 个 PSU 的节点有 12 个独立时钟——最先归零的时钟导致节点故障。时钟越多，预期等待时间越短。

对于包含 N[nodes] 个相同节点的集群，同一逻辑向上层应用，如公式 E.3 所示：

MTBF_cluster = MTBF_node / N_nodes \qquad(E.3)

这就是 MTBF 级联：在每一层级，可靠性随组件数量线性下降，且各层级效应复合叠加。节点 MTBF 为 5,172.4 小时听起来很可靠。但 1,250 个此类节点组成的集群，MTBF 仅为 4.14 小时——每隔几小时发生一次故障即为预期稳态。

表 E.2 展示了集群 MTBF 随机群规模增长而收缩的情况。

| :--- | :--- | :--- | :--- |

| 256 | 32 | 161.6 小时 | 0.1 |

| 1,024 | 128 | 40.4 小时 | 0.6 |

| 2,048 | 256 | 20.2 小时 | 1.2 |

| 8,192 | 1,024 | 5.1 小时 | 4.8 |

| 10,000 | 1,250 | 4.1 小时 | 5.8 |

| 100,000 | 12,500 | 24.8 分钟 | 58 |

表 E.2：按规模划分的集群 MTBF：随着集群规模增长，聚合 MTBF 成比例收缩。在 10,000 GPU 时，故障每隔几小时发生一次；在 100,000 GPU 时，故障持续发生。节点配置：每节点 8 GPU、2 NIC、2 PSU。

该表直观地说明了一个关键点：从“数百 GPU”到“数万 GPU”的转变不仅仅是定量变化，更是定性变化。在 256 GPU 时，可能间隔一整天才发生一次故障。在 10,000 GPU 时，集群每班次预期发生多次故障。在 100,000 GPU 时，故障成为持续的背景条件——系统从未处于完全健康状态。

作业期间的故障概率

理解 MTBF 与故障概率

了解平均无故障时间 (MTBF) 能告诉我们故障之间的平均时间，但训练作业具有固定持续时间。从业者关心的问题是：我的作业被中断至少一次的概率是多少？

在指数故障模型（恒定故障率）下，公式 E.4 给出了持续时间为 T[job] 的作业期间至少发生一次故障的概率：

\[Pr(\ge 1 \text{ failure}) = 1 - e^{(-T_{\text{job}}/\text{MTBF})} \qquad (E.4) \]

当 T[job] ≫ MTBF 时，该概率迅速趋近于 1。表 E.3 展示了不同集群规模和作业持续时间的具体数值。

| 集群 GPU 数量 | 1 天 (24 小时) | 1 周 (168 小时) | 30 天 (720 小时) |

| :--- | :--- | :--- | :--- |

| 256 | 13.8% | 64.6% | 98.8% |

| 1,024 | 44.8% | 98.4% | > 99.9% |

| 2,048 | 69.5% | > 99.9% | > 99.9% |

| 8,192 | 99.1% | > 99.9% | > 99.9% |

| 10,000 | 99.7% | > 99.9% | > 99.9% |

| 100,000 | > 99.9% | > 99.9% | > 99.9% |

表 E.3：至少发生一次故障的概率：对于大型集群和多天作业，故障几乎是必然的。任何处于该表右下区域的系统都必须将容错视为核心设计要求，而非优化项。

信息很明确：对于运行超过一天的、超过几千 GPU 的任何集群，至少经历一次故障的概率实际上是 100%。这就是为什么第 7 章将容错视为基本架构要求，而非防御性措施。

指数故障模型假设恒定的故障率，这在稳态使用寿命阶段成立。在磨合期（前几百小时）和损耗期（接近寿命末期），故障率更高。实际上，车队运营商观察到新部署的节点在第一周表现出 2-3 倍的较高故障率，这使得磨合测试在节点进入生产集群前变得至关重要。

长训练作业期间故障的必然性直接引出了下一个问题：如果我们将丢失进度，如何最大程度地减少损失？

检查点优化

每个检查点都保存进度但需要耗时。检查点过于稀疏，一次故障就会毁掉数小时的训练；检查点过于频繁，写入检查点本身的开销就会成为瓶颈。Young-Daly 公式给出了数学上最优的平衡点，它仅取决于两个可测量的量：写入检查点需要多长时间以及故障发生的频率（Young 1974；Daly 2006）。

Young-Daly 模型

最优检查点间隔平衡了两种相互竞争的成本。写入检查点需要时间 T[write]（检查点成本），期间无法进行有效训练。然而，检查点间隔越长，故障发生时丢失的工作就越多——平均为间隔的一半。公式 E.5 给出了使预期总开销最小化的 Young-Daly 公式：

\[\tau_{\text{opt}} = \sqrt{2 \times T_{\text{write}} \times \text{MTBF}_{\text{system}}} \qquad (E.5) \]

其中 T[write] 是以秒为单位的检查点写入时间，MTBF[system] 是以秒为单位的集群或作业级系统 MTBF。

公式 E.5 背后的直觉类似于几何平均：当检查点相对于 MTBF 很廉价时（T[write] ≪ MTBF[system]，这也是常见情况），最优间隔介于这两个时间尺度之间。如果检查点耗时为零，最优节奏是每步一次。如果系统永不故障，则不需要检查点。平方根在这两个极端之间进行插值。

该公式假设故障遵循指数分布（无记忆性），且检查点成本 T[write] 与 MTBF[system] 相比很小。这两个假设在生产训练集群中均表现良好：指数模型符合观测到的故障数据，现代检查点系统在几十秒内即可写入快速并行存储，而 MTBF 以小时为单位衡量。

检查点大小

检查点大小决定了输入 Young-Daly 公式的写入时间 T[write]。对于使用自适应矩估计优化器的常见混合精度训练检查点，每个参数大约需要 14 字节的持久状态：

BF16 模型权重：2 字节
FP32 主权重：4 字节
FP32 一阶矩：4 字节
FP32 二阶矩：4 字节

公式 E.6 将这些按参数成本汇总为总检查点占用空间：

\[\text{Checkpoint Size} = P \times 14 \text{ bytes/parameter} \qquad (E.6) \]

此处，P 是必须序列化的持久优化器和权重状态的可训练模型参数数量。

表 E.4 展示了随着模型规模增长，检查点状态如何从可管理的 GB 级增长到前沿级的 TB 级。

| 模型规模 | 检查点大小 | 100 GB/s 下的写入时间 |

| :--- | :--- | :--- |

| 7B | 98 GB | 0.98 秒 |

| 13B | 182 GB | 2 秒 |

| 70B | 980 GB | 10 秒 |

| 175B | 2450 GB | 24 秒 |

| 1T | 14000 GB | 140 秒 |

表 E.4：混合精度 Adam 训练的检查点大小：每个参数需要约 14 字节的持久检查点状态（模型权重 + FP32 主权重 + 优化器矩）；梯度通常是瞬态的，恢复后重新计算而非作为持久检查点状态序列化。写入时间假设聚合存储带宽为 100 GB/s。

正如表 E.4 所示，在前沿规模（175B+ 参数）下，检查点大小达到 TB 级。这使得检查点写入时间成为直接影响 Young-Daly 最优间隔的显著成本。第 7 章中的检查点策略讨论了减少 T[write] 的技术——异步检查点、增量差分和分布式存储——所有这些都通过缩小平方根下的分子来改善 Young-Daly 结果。

实战案例：最优检查点间隔

结合检查点写入时间和 10,000 GPU 的 MTBF，得出具体的检查点节奏。

场景设定：考虑在 10,000 GPU 集群上训练 175B 参数模型。集群 MTBF 为 4.14 小时（表 E.2）。检查点大小为 2,450 GB，并行存储系统写入速度为 100 GB/s。

步骤 1：检查点写入时间 (T[write])。

\[T_{\text{write}} = \frac{\text{Checkpoint Size}}{\text{Write Bandwidth}} = \frac{2,450 \text{ GB}}{100 \text{ GB/s}} = 24.5 \text{ s} \]

步骤 2：应用 Young-Daly 公式（公式 E.5）。

\[\tau_{\text{opt}} = \sqrt{2 \times T_{\text{write}} \times \text{MTBF}_{\text{system}}} = \sqrt{2 \times 24.5 \text{ s} \times 4.14 \text{ h} \times 3,600 \text{ s/h}} = 14.2 \text{ min} \]

解读。最优检查点间隔约为 14.2 分钟。仅检查点带来的开销为 T[write]/τ[opt] ≈ 训练时间的 2.9%。

系统洞察：如果集群扩大到 20,000 GPU，MTBF 将减半，最优间隔将缩短至 10.1 分钟——因为故障发生更频繁，需要更频繁地检查点以保护进度。这阐释了大规模下的根本张力：更大的集群更快，但需要更频繁的中断来保护进度。

Young-Daly 公式的边界条件值得关注。当 T[write] 接近 MTBF[system]（检查点开销接近 MTBF）时，检查点和重做开销变得非常大，以至于单靠检查点/重启可能无法维持有效的前向进度。在这种情况下，冗余或弹性训练变得必要，如第 E.4.1 节所述。

恢复预算

当故障发生时，系统不会瞬间恢复训练。检测、重新调度、重载状态和重放丢失的工作各自都会消耗时间。理解恢复的构成可揭示哪个阶段占主导地位，以及应在何处投入工程精力。

恢复时间的剖析

恢复并非单一事件，而是一个阶段管道，每个阶段都有自己的时间预算。公式 E.7 将它们汇总为总恢复时间：

T[recovery] = T[detect] + T[reschedule] + T[reload] + T[replay] (E.7)

这些项均为时长：故障检测、替换调度、检查点重载，以及自上次检查点以来丢失的训练工作重放。它们之和即为作业恢复生产性训练前的挂钟时间。

表 E.5 将恢复拆解为各个阶段，这些阶段决定了集群在故障后保持低于全生产力状态的时长。

| 阶段 | 典型时长 | 发生情况 |

| --- | --- | --- |

| T[detect] | 30 秒 | 心跳超时过期；工作节点被宣布失败（确认会增加第 7 章中预算的开销） |

| T[reschedule] | 60 秒 | 从备用池分配替换节点 |

| T[reload] | 24.5 秒 | 从存储读取检查点到 GPU 显存 |

| T[replay] | ~7.1 分钟 | 重算自上次检查点以来的训练步骤 |

| 总计 T[recovery] | ~9 分钟 | 系统恢复全速生产 |

表 E.5：恢复时间细分：每个阶段均对故障与全速恢复间的总时间有所贡献。对于 1 万 GPU、1750 亿参数模型的场景，重放占主导地位，因为它重新计算了自上次检查点以来丢失的工作。

正如表 E.5 所示，关键洞见在于 T[replay] 通常占主导，且它直接由检查点间隔控制：平均而言，必须重放一半的间隔。这与 Young-Daly 公式形成一个增强回路——间隔越短意味着重放越少，但检查点开销越大，公式寻找的是这两者之和的最小值。

其他阶段提供了工程优化目标。T[detect] 可通过更激进的心跳间隔来降低（代价是误报率上升）。T[reschedule] 取决于是否预分配了热备节点，这是第 8 章涵盖的车队编排决策。T[reload] 随检查点大小和存储带宽缩放，这激励了第 7 章讨论的检查点压缩和分片技术。

有效算力 vs. 原始算力

并非在训练集群上花费的所有时间都能产生有用的进度。原始算力 是执行的训练步骤总数（包括故障后将被丢弃的步骤）。有效算力 是实际对最终模型有贡献的训练步骤数：

有效算力比 = 有用步数 / 总执行步数 ≈ T_useful / T_wall

原始算力与有效算力之间的差距来自三个来源：

检查点开销（∼ 2.9%）：每次检查点写入时训练暂停。
恢复开销（∼ 3.6%）：每次故障后，因检测、重新调度、重载和重放而损失的时间。
无效工作：上次检查点与故障之间计算的训练步骤，这些步骤必须被丢弃并重新计算。

在 1 万 GPU 规模下，Meta、Google 等公司发布的报告一致显示，故障和检查点的总开销为 10–25%。名义上能在 30 天完成训练的集群，因此需要 33–38 天的挂钟时间。第 8 章和第 12 章的车队编排策略旨在缩小这一差距——每回收 1 个百分点的开销，直接转化为节省的资金和缩短的训练时间。

一个常见的误解是集群规模翻倍就能将训练时间减半。实践中，从 5000 增至 1 万 GPU 会使 MTBF 减半，大致使故障相关开销翻倍。实际加速比小于 2 倍，且在极端规模下，若容错机制跟不上，增加 GPU 反而会增加挂钟时间。这是阿姆达尔定律的可靠性类比：恢复的串行开销限制了并行化的收益。

策略选择

检查点/重启并非唯一的容错策略。对于以营收损失衡量停机时间的服务类工作负载，冗余提供了截然不同的权衡。对于弹性训练，系统可在故障发生时收缩而非停止。选择正确的策略取决于工作负载对延迟、成本和复杂度的容忍度。

检查点/重启 vs. 冗余 vs. 弹性训练

这三种规范策略代表了成本、复杂度和恢复速度之间权衡空间中的不同坐标点。

检查点/重启 定期保存完整系统状态，故障后回滚至上次检查点。它是大规模训练的主力军：概念简单、理解透彻，且在 MTBF 远大于检查点成本时有效。其弱点在于恢复需要停止所有工作节点并重放丢失的计算。

冗余维护状态或计算的副本。若一份副本失败，另一份立即接管。这是推理服务的主导策略，因为哪怕几秒停机也不可接受。代价是 2–3 倍的算力资源，这对训练过于昂贵，但对营收关键型服务则合理。

弹性训练 允许训练作业在故障发生时以更少的工作节点继续运行，而非完全停止。当替换节点可用时再加回。这将挂钟中断最小化，但需要支持动态世界尺寸变更的框架（例如 TorchElastic），并在学习率调整和梯度归一化方面引入复杂性。表 E.6 总结了这些权衡。

| 标准 | 检查点/重启 | 冗余 | 弹性训练 |

| --- | --- | --- | --- |

| 实现复杂度 | 简单 | 中等 | 复杂 |

表 E.6：容错策略对比：各策略在不同领域各有所长。现实系统常组合使用：训练用检查点/重启，元数据服务和检查点存储层用冗余。

可用性堆叠公式

服务工作负载的可用性分析

对于服务工作负载，可用性通常以百分比表示：99%（"两个九"）、99.9%（"三个九"）等。冗余通过运行 k 个独立副本来提高可用性。只有当所有副本同时宕机时，系统才不可用，这由公式 E.8 表示：

A[system] = 1 − (1 − A)^(k)   (E.8)

其中 A 是单个副本的可用性，k 是副本数量。

表 E.7 量化了增加独立服务副本带来的可用性收益。

| :--- | :--- | :--- | :--- |

| 1 | 99.00% | 2.0 | 87.6 小时 |

| 2 | 99.9900% | 4.0 | 52.6 分钟 |

| 3 | 99.9999% | 6.0 | 31.5 秒 |

表 E.7：独立副本的可用性叠加：从单副本 99% 的可用性开始，每个额外的副本都能显著降低预期停机时间。假设副本故障是独立的。

正如表 E.7 所示，叠加的威力是巨大的：两个 99% 可用性系统的副本可产生 99.99% 的可用性，将年停机时间从大约 87 小时减少到 1 小时以下。这就是为什么推理服务系统几乎普遍在负载均衡器后面部署多个副本——额外副本的成本与四个九可用性的商业价值相比微不足道。

然而，独立性假设至关重要。相关故障——影响整个机架的断电、特定输入触发的软件 Bug、或隔离故障域的网络分区——会破坏可用性叠加。这就是为什么第 7 章强调故障域隔离：副本必须放置在不同的机架、不同的电源区域，理想情况下是不同的数据中心，以确保它们的故障模式真正独立。

概要

故障率随组件数量线性扩展：单个 GPU 每 5.7 年故障一次；10,000 GPU 的集群每 4.14 小时发生一次故障。在舰队规模下，故障是持续的后台状况，而非异常事件。
MTBF 级联效应通过系统层级复合：节点 MTBF 由最弱组件类型决定；集群 MTBF 除以节点数量。表 E.2 提供了容量规划的参考数字。
作业故障概率快速趋近确定性：对于运行多日作业的数千 GPU 以上集群，至少发生一次故障的概率超过 99%。在此规模下，容错不是可选项——它是完成任何训练运行的前提条件。
Young-Daly 检查点间隔：公式 \(\tau_{\text{opt}} = \sqrt{2 T_{\text{write}} \, \text{MTBF}_{\text{system}}}\) 通过平衡写入检查点的成本与丢失工作的成本来优化检查点频率。它仅需两个可测量的输入：检查点写入时间和系统 MTBF。
恢复包含四个阶段：检测、重新调度、重新加载和重放。重放通常占主导地位，并由检查点间隔控制。每个阶段都提供独特的优化机会。
策略选择取决于工作负载类型：检查点/重启适合批量训练。冗余适合延迟敏感型服务。弹性训练连接两者但增加了复杂性。
可用性随独立副本指数级叠加：独立副本使可用性呈指数级提升，但相关故障会使这种收益崩塌。故障域隔离是使冗余生效的前提条件。

推理基础

目的

排队动态和内存容量如何决定生产推理服务的吞吐量和延迟？

大规模服务模型受排队论数学和键值缓存物理特性的制约。本附录开发了推理和运维章节所依赖的定量工具：一种用于批量服务的排队理论模型，可在随机到达下得出实用的批量大小；以及注意力缓存的容量算术，它经常成为服务吞吐量的约束瓶颈。这些不是背景细节，而是在延迟预算内车队能服务多少请求的一阶约束。用 C³ 术语来说，推理将计算容量、与内存和客户端的通信、以及跨队列的协调转化为一个服务约束。

如何使用本附录

本附录是服务系统的定量参考。当你需要选择批量大小或预测给定到达率下的尾部延迟时，使用排队模型；当你需要调整内存大小或找到缓存（而非计算）成为吞吐量上限的临界点时，使用键值缓存算术。

从推理和运维章节调用它：当这些章节引用服务结果时，推导过程就在这里。线性阅读可获得完整论证，或跳转到 GPT-3 实例演示和批量大小决策框架，将其作为应用于你自己系统的模板。

服务性能分析

服务性能分析包含两个耦合层。队列决定请求如何等待、批处理以及在随机到达下如何削峰；键值缓存决定加速器在满足延迟预算的同时能容纳多少实时状态。以下小节首先推导排队模型，然后在实际服务示例中将该模型与内存容量限制联系起来。

面向批量推理的排队论

批处理效率曲线提供了关于吞吐量-延迟权衡的直觉，但生产系统需要严谨的分析来确定随机到达模式下的最佳批量大小。排队论提供了推导这些最佳操作点的数学框架，并解释了为什么在特定条件下某些批量大小优于其他大小。

GPU 服务的 M/G/c/K 队列模型

GPU 推理系统可以建模为 M/G/c/K 队列，这是排队论中的标准符号，捕捉了生产服务系统的基本特征：

M (Markov 到达 / 马尔可夫到达)：请求以速率 λ[arr] 按泊松过程到达。这建模了用户请求的无记忆性，即一个请求的到达不能预测下一个请求的时机。
G (General 服务分布 / 一般服务分布)：服务时间遵循一般分布，不限于指数分布。GPU 推理时间取决于批量大小，包含确定性成分（计算）混合随机变化（内存争用、内核调度）。
c (Number of servers / 服务器数量)：系统有 c 个并行 GPU 工作节点，每个都能独立服务请求。
K (Queue capacity / 队列容量)：系统维护一个容量为 K 请求的有限队列。到达时队列已满的请求会被拒绝（负载削峰）。

该符号源自同一系统性能谱系，它在应用于 GPU 集群之前曾用于为电话网络定型。

排队论由 Agner Krarup Erlang 于 1909 年为电话网络分析而开发，仍是系统性能工程的基石（Erlang 1909）。曾用于确定电话交换机规模的同一数学框架，现在决定 GPU 集群容量。M/G/c/K 模型是系统教科书的标准内容，见于 Jain 的《计算机系统性能分析艺术》（Jain 1991）和 Kleinrock 的《排队系统》（Kleinrock 1975）。

对于批量推理系统，批量大小为 B 时，服务时间成为批量大小的函数。令 Tsvc 表示处理 B 个请求批次所需的时间。根据批处理的物理特性（第 10.3 节），公式 F.1 对其建模如下：

Tsvc = T[fixed] + t[req] ⋅ B (F.1)

其中 T[fixed] 表示固定服务开销（内核启动、从 HBM 加载权重），t[req] 表示边际单请求计算时间。该线性模型捕捉了生产系统中观察到的一阶行为，尽管实际服务时间可能因大批量下内存带宽饱和而表现出轻微的次线性特性。

批量处理的有效服务率为：

\[\\mu\_{\\text{eff}}(B) = \\frac{B}{T\_{\\text{svc}}(B)} = \\frac{B}{T\_{\\text{fixed}} + t\_{\\text{req}} \\cdot B} \]

有效速率随批量大小增加，当 B → ∞ 时趋近渐近极限 1/t[req]。

响应时间分析

请求的总响应时间 T 由三个部分组成：

E[T] = E[W] + E[T[batch]] + E[T[svc]]

其中：

E[W] 是加入批次前在队列中的预期等待时间
E[T[batch]] 是形成完整批次的预期时间（批次累积延迟）
E[T[svc]] 是批次执行后的预期推理时间

对于具有最大等待时间 T[max] 和最大批量大小 B[max] 的动态批处理，批次形成过程是有界的。在到达率为 λ[arr] 的泊松到达下，时间 T[max] 内累积的预期请求数为 λ[arr] ⋅ T[max]。实际批量大小 B 遵循：

E[B] = min(B[max], λ[arr] ⋅ T[max])

批次累积延迟取决于批次是通过达到 B[max] 填满还是通过超时触发：

\[E\[T\_{\\text{batch}}\] = \\begin{cases} \\frac{B\_{\\text{max}}}{2\\lambda\_{\\text{arr}}} & \\text{if } \\lambda\_{\\text{arr}} \\cdot T\_{\\text{max}} \\geq B\_{\\text{max}} \\text{ (batch fills)} \\\\ \\frac{T\_{\\text{max}}}{2} & \\text{if } \\lambda\_{\\text{arr}} \\cdot T\_{\\text{max}} < B\_{\\text{max}} \\text{ (timeout triggers)} \\end{cases} \]

两种情况下的 1/2 因子反映了在批次时间窗口内均匀到达的请求的平均等待时间。

最优批量大小推导

最优批量大小 B 在满足吞吐量要求的前提下最小化预期响应时间。我们寻求：

B = arg min[B] E[T(B)] subject to μeff ≥ λ[arr]

该约束确保系统稳定性（服务率超过到达率）。

代入响应时间组件：

\[E\[T(B)\] = E\[W(B)\] + \\frac{B}{2\\lambda\_{\\text{arr}}} + T\_{\\text{svc}}(B) \]

对于具有批量到达的 M/G/1 队列（将每个批次视为单个“超级请求”），队列看到的是批次而非单个请求。若请求到达率为 λ[arr] 且平均批量大小为 B，则批次到达率为 λ[batch] = λ[arr]/B。Pollaczek-Khinchine 公式给出预期等待时间：

\[E\[W\] = \\frac{\\lambda\_{\\text{batch}} \\cdot E\[T\_{\\text{svc}}²\]}{2(1 - \\rho\_{\\text{serv}})} \]

其中 ρ[serv] = λ[batch] ⋅ E[T[svc]] = λ[arr] ⋅ E[T[svc]]/B 为服务器利用率。二阶矩 E[T[svc]²] 反映服务时间变异性。

对于具有确定性服务的线性服务时间模型（批次内方差为零）：

\[E\[W(B)\] = \\frac{\\lambda\_{\\text{arr}} \\cdot T\_{\\text{svc}}(B)²}{2B(1 - \\lambda\_{\\text{arr}} \\cdot T\_{\\text{svc}}(B)/B)} \]

对于生产环境规划，团队通常先强制执行利用率余量目标，而非求解完整的延迟最小化问题。令 Tsvc = T[fixed] + t[req]B，约束 ρ[serv] = λ[arr]Tsvc/B ≤ ρ[target] 给出公式 F.2：

\[B\_{\\min}(\\rho\_{\\text{target}}) = \\frac{\\lambda\_{\\text{arr}} T\_{\\text{fixed}}}{\\rho\_{\\text{target}} - \\lambda\_{\\text{arr}} t\_{\\text{req}}} \\qquad(F.2) \]

其中 ρ[target] 为目标利用率（生产系统通常为 0.7–0.8 以保持延迟余量）且 ρ[target] > λ[arr]t[req]。

公式 F.2 揭示了一个基本洞见：最小稳定批量大小随固定开销和到达率增长。这意味着：

更高流量 (λ[arr])：所需批量大小增加
更高固定开销 (T[fixed])：所需批量大小增加以摊销开销
更高目标利用率 (ρ[target])：所需批量大小减少，但延迟余量减少

这种受利用率约束的规划解释了为什么 LLMs（因加载权重导致高 T[fixed]）比视觉模型（低 T[fixed]）受益于更大批次，即使到达率相同。

实例演示：100 QPS 下的 GPT-3 服务

考虑在以下系统参数下服务 GPT-3 级模型（175B 参数）：

到达率：λ[arr] = 100 请求/秒
硬件：8× A100 GPU，张量并行
权重加载开销：T[fixed] = 50 ms（每次前向传播加载注意力矩阵的时间）
单请求计算：t[req] = 0.5 ms（跨批次摊销）
平均输出长度：每请求 100 tokens
目标利用率：ρ[target] = 0.75

对于预填充阶段（处理输入提示词），服务时间遵循公式 F.1：

Tsvc = 50 + 0.5 ⋅ B ms

应用公式 F.2 计算保持 75% 利用率余量的最小批量大小：

\[B\_{\\min} \\approx \\frac{100 \\times 0.05}{0.75 - 100 \\times 0.0005} = \\frac{5}{0.70} \\approx 7.14 \]

向上取整得到 B = 8 为满足目标利用率余量的最小批量大小。评估完整响应时间表达式可知，更大批次虽降低利用率但增加批次累积延迟：

不同批量大小下的性能。

表 F.1 量化了批量大小从 1 到 32 的权衡：

| --- | --- | --- | --- | --- | --- | --- |

| 1 | 50.5 | 19.8 | 505% (不稳定) | ∞ | 5.0 | ∞ |

| 4 | 52.0 | 76.9 | 130% (不稳定) | ∞ | 20.0 | ∞ |

| 8 | 54.0 | 148.1 | 67.5% | 56.1 | 40.0 | 150.1 |

| 16 | 58.0 | 275.9 | 36.3% | 16.5 | 80.0 | 154.5 |

| 32 | 66.0 | 484.8 | 20.6% | 8.6 | 160.0 | 234.6 |

表 F.1：批量大小对 GPT-3 服务性能的影响：批量大小低于 8 无法维持 100 QPS（利用率超过 100%）。计入批次累积延迟后，该简单模型中的延迟最小值出现在 B = 8 附近；B = 16 在较低利用率下具有近似的平均延迟，而 B = 32 虽留出更多余量但付出巨大的累积延迟惩罚。

分析。

批量大小 1–4 不稳定：利用率超过 100%，系统无法跟上到达速度。队列无界增长。
批量大小 8 达到稳定：利用率 67.5% 时系统稳定，但排队延迟对总延迟贡献显著（56.1 ms），如图 F.1 所示。

图 F.1：排队曲线呈现“曲棍球棒”形状：系统利用率 ρ[serv] 与队列长度（M/M/1 队列长度 ρ[serv]/(1 − ρ[serv])）的关系。图中标示了三个区域：安全区（ρ[serv] < 0.7）、警戒带（0.7–0.85）和危险区（ρ[serv] > 0.85），在危险区队列深度将无限增长。生产系统通常将目标设定为 ρ[serv] ≤ 0.7 以保留延迟余量。

批大小 8–16 构成延迟拐点：在此模型中，批大小 8 产生最低的平均延迟。批大小 16 以增加几毫秒的总延迟为代价，换取了更低的利用率和队列等待时间（16.5 ms 对比 56.1 ms），而 B = 32 虽然留出了更多的利用率余量，但付出了过高的批积累延迟代价。
B = 32 之后收益递减：进一步增大批大小虽会降低利用率，但内存限制阻止了进一步探索。

我们可以通过应用利特尔定律进行内部一致性检查来验证这些结果。

利用利特尔定律进行验证 (Little 1961)：Q[req] = λ[arr] ⋅ T[lat]

在 B = 16、λ[arr] = 100 req/s 和 E[T] = 154.5 ms 时：

Q[req] = 100 × 0.1545 s = 系统中有 15.45 个请求

批大小为 16 且利用率为 36.3% 时：

预期服务中的请求数：16 × 0.363 = 5.8
预期队列中的请求数：15.45 - 5.8 = 9.64

这与响应时间分解相符：平均约有 6 个请求在服务中，约 10 个请求在等待或积累成批。

决策框架：基于 SLA 的批大小选择

生产系统必须选择批大小以满足服务级别目标（SLO），通常指定为延迟百分位数（例如，P99 延迟 < 200 ms）。以下框架将这一决策系统化：

步骤 1：表征服务时间

通过在批大小 1、8 和 32 下剖析推理，实测 T[fixed] 和 t[req]。拟合线性模型 Tsvc = T[fixed] + t[req]B。

步骤 2：计算稳定性阈值

找到满足 μeff > λ[arr] 的最小批大小 B[min]：

B_min = (T_fixed * λ_arr) / (1 - t_req * λ_arr)

任何低于 B[min] 的批大小都会导致系统不稳定。

步骤 3：计算候选批大小下的延迟

对每个候选 B ∈ {B[min], 2B[min], ..., B[max]}，计算：

E[T(B)] = (λ_arr * T_svc(B)²) / (2B(1 - λ_arr * T_svc(B)/B)) + B/(2λ_arr) + T_svc(B)

步骤 4：考量尾延迟

为满足 P99 SLO 合规性，使用重负载近似计算尾延迟：

T[P99] ≈ E[T] + 2.33 ⋅ σ[T]

其中 σ[T] 为响应时间的标准差。对于类指数分布的响应时间，P99 接近 −ln(0.01)E[T] ≈ 4.6 ⋅ E[T]；生产环境容量规划应使用实测百分位数。

步骤 5：选择最优批大小

选择满足 TP99 ≤ SLO 的最大 B：

B = max {B : TP99 ≤ SLO}

表 F.2 总结了决策流程：

| 条件 | 建议操作 | 理由 |

| --- | --- | --- |

| B < B[min] | 增大批大小或增加副本 | 系统不稳定 |

| T[P99] > SLO | 减小批大小或增加副本 | 延迟超标 |

| ρ[serv] < 0.5 | 考虑减少副本以节省成本 | 系统资源过度配置 |

| ρ[serv] > 0.85 | 增加副本以获得余量 | 接近不稳定状态 |

表 F.2：批大小决策框架：基于稳定性、延迟 SLO 和利用率目标系统化选择批大小的方法。

权衡曲线：可视化运行区间

批大小、吞吐量和延迟之间的关系定义了生产系统必须在其中运行的运行区间。图 F.2 说明了该区间：

图 F.2：批大小权衡曲线：随着 x 轴上批大小的增长，吞吐量（左 y 轴，蓝色）亚线性增长，而延迟 P50（右 y 轴，红色）近线性增长。最优点标记在 B=16 处；阴影的 OOM/内存容量区域标示了超出设备内存的批大小。基准测试：Llama-2 70B FP16 张量并行跨四张 A100 80 GB GPU。

该权衡曲线揭示了几个关键洞见：

帕累托前沿：该曲线代表高效运行点；曲线下方的任何点都会被曲线上某个点支配，后者要么具有更高吞吐量，要么具有更低延迟。
曲线拐点：最优批大小往往位于“拐点”处，即吞吐量增益递减而延迟继续近线性增加的位置。
SLO 约束下的最优点：当 SLO 限制最大延迟时，最优点即为曲线与 SLO 边界的交点。
收益递减：拐点之后，批大小翻倍可能仅使吞吐量增加 10–20%，却使延迟翻倍。

排队论框架为后续章节探讨的批处理策略提供了数学基础。直觉可能认为“更大的批次利于吞吐量”，但稳定性约束、延迟目标和收益递减共同界定了一个明确的最优运行区间，该区间因模型类型和部署需求而异。

KV 缓存基础

KV 缓存的正式定义见主章节推理内存管理部分（第 10.2.2 节）。本附录进一步阐述该定义背后的尺寸计算数学原理：缓存为何能降低逐 token 计算量、其内存为何随序列长度和批大小增长、以及非托管分配为何会导致 HBM 碎片化 (Kwon et al. 2023)。

若无缓存，自回归生成每个 token 需 𝒪(t²) 计算量，因为每个 Transformer 层都必须为所有前序 token 重新计算注意力键和值。KV 缓存存储这些已计算的键值向量，将生成复杂度降至每 token 𝒪(t)。对于大规模服务，这种计算节省带来了关键的内存管理挑战，因为长上下文下 KV 缓存内存可能超过模型权重。

缓存大小随上下文增长，按公式 F.3 计算：

M[KV] = 2 × N[L] × d × S × B × s[elem] (F.3)

其中：

N[L] = 层数
d = 隐藏维度
S = 序列长度
B = 批大小
s[elem] = 每元素存储字节数
因子 2 同时包含键和值

总结

利用率有硬上限：当利用率 ρ[serv] 接近 1 时，队列深度和延迟将无限增长。生产服务将目标设为 ρ[serv] ≤ 0.7 以保留延迟余量；剩余的 30% 非浪费，而是保持尾延迟有限的缓冲区。
批大小存在最优值而非最大值：更大批次提高吞吐量但引入批积累延迟，形成延迟拐点而非单调改进。拐点之后，批大小翻倍仅能换来 10–20% 的吞吐量提升，代价却是延迟翻倍。
利特尔定律串联系统：Q[req] = λ[arr]T[lat] 将在飞请求数与到达率及系统停留时间关联，为任何服务测量提供一行式一致性检查。
KV 缓存是约束瓶颈：缓存内存随序列长度和批大小线性扩展，且常超越模型权重，限制并发容量。朴素分配因碎片浪费 60–80% 内存，因此生产系统采用虚拟内存方案管理它。

系统假设

目的

车队规模假设与快速估算参考

贯穿全书分布式系统计算的底层假设是什么？

本书中的每一个定量示例——从集群故障率、集合通信开销到碳足迹估算——均采用了一组特定的假设数值：标准集群规模、互联结构带宽、加速器可靠性、电源使用效率、区域碳强度、模型利用率区间，以及数十项其他指标。本附录将这些车队规模假设汇总于一处，以便读者核对书中的算术、与各章的快速估算进行比对，或替换为本地数值；表格涵盖节点级加速器规格、集群梯队、网络互联结构、可靠性与恢复参数、通信模型、可持续性、云经济学、容量规划利用率、单位惯例，以及将假设追溯至供应商数据手册、车队研究、电网报告和书籍惯例的来源目录。用 C³ 术语来说，这些假设使得计算容量、通信成本和协调开销能在各章间按同一标度度量。

如何使用本附录

当您想要验证车队规模估算、替换为备选假设（例如 NDR 与 HDR 互联结构、魁北克与波兰的碳强度、或不同的 MFU），或查看某章计算依赖哪些数值时，请使用本附录。找到相关章节，阅读 Value（值）和 Unit（单位）列，并将其代入您自己的算术中。

开篇的一个简短快速估算示例展示了多个假设如何组合使用（故障率、AllReduce 时间、碳足迹）。除非某章明确说明了有效带宽折扣，否则硬件和链路带宽均为理论上限。请将这些表格视为本版共享的假设基准表——而非不可更改的物理定律。

这些表格支持快速分布式系统快速估算。三个示例展示了多个假设如何组合使用。

示例 1：估算每日 GPU 故障次数

问题：估算一个集群每天应预期发生多少次 GPU 故障。

变量：使用 8,192 GPUs 集群和单个 GPU MTTF 为 50,000 hours。

计算：GPU 故障率为 8,192 GPUs / 50,000 hours ≈ 0.16 failures/hour，即约 ~3.9 次/天。

结果：此估算不包括 NIC、PSU 和线缆故障。在 100,000 GPUs 规模下，仅 GPU 故障率约为 ~48 次/天；加上 NIC、PSU 和线缆故障，运维事故流大致会翻倍。

系统洞察：在车队规模下，故障变成了持续的后台进程，而非异常事件。

示例 2：估算 70B 模型的 AllReduce 时间

问题：估算 70B 模型进行 AllReduce 所需时间。

变量：使用 BF16 参数和 InfiniBand NDR，单端口有效带宽 50 GB/s。

计算：梯度载荷为 70 × 10⁹ × 2 bytes = 140 GB。环形 AllReduce 快速估算为 2 × 140 GB / 50 GB/s ≈ 5.6 s。

结果：集合通信可能消耗训练步骤的显著时间比例。

系统洞察：流水线并行和张量并行的存在，部分目的在于缩减每个秩必须通信的梯度体量。

示例 3：估算训练运行的碳足迹

问题：估算 10,000 GPUs 训练运行的碳足迹。

变量：每张 H100 在 TDP 下功耗 700 W。使用 PUE 1.12，魁北克电网强度 20 g/kWh，波兰电网强度 820 g/kWh。

计算：总设施功耗为 10,000 GPUs × 700 W × 1.12 = 7.84 MW。在魁北克，7.84 MW × 720 h/月 × 20 g/kWh = 112.9 t CO₂/月。

结果：相同运行在波兰排放 4628.7 t，相差 41 倍。

系统洞察：对于相同的硬件、模型和训练时长，电网碳强度可能主导排放差异。

基础硬件回顾

本书的分布式系统推理建立在单节点性能边界之上。表 G.1 回顾了本卷作为主要加速器参考的 H100 假设。

| 类别 | 假设 | 数值 | 单位 |

| --- | --- | --- | --- |

| 计算 | H100 FP16 峰值吞吐 | 989 | TFLOP/s |

| 计算 | H100 FP8 峰值吞吐 | 1,979 | TFLOP/s |

| 存储 | HBM3 带宽 | 3.35 | TB/s |

| 存储 | HBM3 容量 | 80 | GB |

| 热力 | TDP | 700 | W |

表 G.1：单节点 H100 假设：峰值规格源自 (Choquette 2023) 和 NVIDIA H100 文档。为铁律计算提供 R_peak 和带宽基线。

集群参考配置

本书使用四个标准集群梯队（256、2,048、8,192 和 100,000 GPUs）来说明系统行为如何随规模变化。它们是与常见研究实验室、生产环境、大规模训练和超大规模车队对齐的编辑参考点——而非来自单一产线的实测值。表 G.2 定义了 GPU 数量；各章基于这些基线及后续表格中的假设推导出节点数、故障率和网络需求。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 小型集群 GPU 数量 (256 层级) | 256 | GPUs |

| 中型集群 GPU 数量 (2,048 层级) | 2048 | GPUs |

| 大型集群 GPU 数量 (8,192 层级) | 8192 | GPUs |

| 超大型集群 GPU 数量 (100,000 层级) | 100000 | GPUs |

表 G.2：标准集群规模：本书用于车队规模示例的约定层级大小。按每节点 8 张计算：32 节点、256 节点、1,024 节点和 12,500 节点。故障处理在 256-GPU 和 8,192-GPU 层级之间从异常转为稳态 (Kokolis et al. 2025)。

集群规模与系统行为的关系并非线性。256-GPU 集群可能数天才发生一次故障；100,000-GPU 集群每小时经历多次故障。这种非线性正是第 7 章（容错）和第 8 章（车队编排）将故障视为持续后台进程而非异常事件的原因。

确立集群规模后，下一个问题是：什么连接这些机器？网络互联结构决定梯度同步耗时毫秒还是秒，也决定流水线并行是否可跨越节点边界。

网络与互联互通规格

分布式训练和推理受限于机器间数据移动的频率，往往不亚于机器内计算。网络假设为每个互联层级固定了带宽和延迟——从节点内的 NVLink/PCIe (NVIDIA Corporation 2017, 2020; Choquette 2023)，经由 InfiniBand、RDMA 和以太网互联结构 (InfiniBand Trade Association 2000; Gangidi et al. 2024; NVIDIA 2026c; Ethernet Alliance 2025)，至光速 WAN 下限 (物理恒等式)。

节点内互联互通

在单个节点内，GPU 通过 NVLink 或 PCIe 通信。这些带宽决定张量并行（需要高带宽、低延迟通信）是否在节点边界内可行。表 G.3 列出了全书使用的节点内互联带宽和延迟。这些值汇总于此以便查阅，并在车队规模章节中复用。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| NVLink 带宽 (V100) | 300 | GB/s |

| NVLink 带宽 (A100) | 600 | GB/s |

| NVLink 带宽 (H100) | 900 | GB/s |

| PCIe Gen3 带宽 (V100 主机) | 15.75 | GB/s |

| PCIe Gen4 带宽 (A100 主机) | 32 | GB/s |

| PCIe Gen5 带宽 (H100 主机) | 64 | GB/s |

| NVLink 单向延迟 | 500 | ns |

| PCIe Gen5 单向延迟 | 1000 | ns |

表 G.3：节点内互联互通规格

表 G.3：节点内互连带宽与延迟

进入/path/to/xxx目录，找到xxx.json。

在表达式 cvar = avar + bvar 中，加法运算符（+）将 avar 与 bvar 相加，得到它们的和 cvar

在 List.of(arg0, arg1, arg2) 中，List 接口的工厂方法 of() 接受一系列的元素，返回包含它们的只读列表。

之后我们这样调用 cmd 命令：cmd arg0 arg1 arg2。

if (condVar > someVal) {console.log("xxx")}

表格 G.8：AllReduce 成本参数

环形 AllReduce 因子为标准环形算法的 2 倍（Gibiansky 2017）。Systems.Nodes.DGX_H100（每节点 8 个 GPU）设置了层级集合通信中的节点内与节点间边界。

通信模型量化了协调的开销。协调的可持续性成本——即所耗电量、耗水量和排放的碳——需要针对围绕计算设施的物理基础设施做出单独的假设。

可持续性假设

规模化机器学习机队的环境影响取决于三个因素：设施在 IT 设备之外消耗的电量（PUE）、冷却系统消耗的水量（WUE），以及本地电网每千瓦时排放的碳量。可持续性假设 此处支持第 15 章以及第 12 章中的总体拥有成本（TCO）估算。

电源使用效率

电源使用效率（PUE）是总设施功耗与 IT 设备功耗的比率。PUE 为 1.0 意味着零冷却开销；实际数据中心的 PUE 范围从 1.06（液冷）到 1.58（传统风冷）。表格 G.9 列出了本书中使用的参考 PUE 值。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| PUE（液冷，行业最佳） | 1.06 | （比率） |

| PUE（最佳风冷） | 1.12 | （比率） |

| PUE（行业平均） | 1.4 | （比率） |

| PUE（传统风冷） | 1.58 | （比率） |

表格 G.9：电源使用效率（PUE）：来自超大规模调研和绿色网格定义的示例性 PUE 分级（Uptime Institute 2022; The Green Grid 2007）。传统风冷与液冷之间的差距：相同的 IT 负载下，设施功耗多出 49.1%。

用水使用效率

用水使用效率（WUE）衡量每千瓦时 IT 能源消耗的水量（升）（The Green Grid 2011）。蒸发冷却塔在实现出色 PUE 的同时会消耗大量水资源；闭环液冷几乎不消耗水，但需要更高的资本投入。表格 G.10 列出了参考 WUE 值。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| WUE（风冷） | 1.8 | L/kWh |

| WUE（蒸发冷却） | 1.8 | L/kWh |

| WUE（闭环液冷） | 0 | L/kWh |

表格 G.10：用水使用效率（WUE）：用于冷却类别比较的示例性 WUE 分级（The Green Grid 2011; Uptime Institute 2022）。蒸发冷却示例：在 10 MW IT 负载下，每日耗水量为 432,000 升。

区域碳强度

相同的训练任务，由于供电电网的不同，所排放的 CO[2] 量会存在巨大差异。表格 G.11 列出了来自 IEA 和加拿大政府排放因子数据的区域电网碳强度（国际能源署 2024b; 环境与气候变化加拿大 2026），已进行四舍五入以便快速估算。这些值是第 15 章中位置感知调度的核心依据。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 电网碳强度（挪威） | 10 | gCO2/kWh |

| 电网碳强度（魁北克） | 20 | gCO2/kWh |

| 电网碳强度（法国） | 50 | gCO2/kWh |

| 电网碳强度（欧盟平均） | 270 | gCO2/kWh |

| 电网碳强度（美国平均） | 429 | gCO2/kWh |

| 电网碳强度（波兰） | 820 | gCO2/kWh |

表格 G.11：区域电网碳强度：电网碳强度（单位：gCO[2]/kWh），锚定于排放因子数据（国际能源署 2024b; 环境与气候变化加拿大 2026），并按从低（挪威）到高（波兰）顺序排列。位置差异导致碳排放相差 82 倍——这通常超过算法优化带来的影响。

功率密度

AI 加速器机架的功耗是传统数据中心机架的 6–8 倍，这导致了热密度挑战，迫使从风冷过渡到液冷。表格 G.12 列出了在第第 2 章和第 15 章中使用的参考机架功率水平，锚定于当前的 AI 算力和冷却产品披露（戴尔科技 2026; 施耐德电气 2024）。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 机架功率（传统企业级） | 12 | kW |

| 机架功率（AI，典型） | 70 | kW |

| 机架功率（AI，高密度） | 100 | kW |

| 风冷每机架实际上限 | 30 | kW |

表格 G.12：机架功率密度：示例性机架功率分级及风冷上限（Uptime Institute 2022; 戴尔科技 2026; 施耐德电气 2024）。AI 机架（70 kW–100 kW）超过 30 kW 的风冷实际上限。

可持续性常量捕捉了运行机队的物理和环境成本。下一节的经济常量将这些物理成本转换为美元值，从而完成总体拥有成本图景。

经济假设

规模化机队的成本估算取决于 GPU 租赁费率、电价和数据传输费用。这些是 Illustrative 超大规模商用费率（2024–2025 量级），用于比率分析，而非特定合同的报价。表格 G.13 支持第 12 章和第 10 章中的 TCO“背袋计算”。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 云端 GPU 训练租赁费率 | 4 | 美元/小时 |

| 云端 GPU 推理租赁费率 | 2.5 | 美元/小时 |

| 云端电价 | 0.12 | 美元/千瓦时 |

| 云端出口流量价格（每 GB） | 0.09 | 美元/GB |

表格 G.13：机队规模经济参数：用于 TCO 示例的示例性云端 GPU、电价和出口流量费率（可替换为实际合同价格以获得绝对预算）。

经济常量设定了每单位资源的价格。接下来的问题是：每个资源单位中，有多少比例被用于有用工作？容量规划常量用于量化峰值性能与实际吞吐量之间的差距。

容量规划假设

容量规划假设 用于量化两个相关现象：（1）实际工作负载达到的峰值硬件性能比例（模型 FLOPs 利用率），以及（2）随着机器数量增加，该性能的扩展效率（扩展效率）。二者共同决定了给定集群规模和预算下可用的有效算力——这是项目规划中真正重要的数字。

规划方程为乘法形式：R_eff = N * R_peak × MFU × η_scaling × (1 − f_overhead)

其中 R_eff 表示机队有效吞吐量，N * R_peak 表示名义集群峰值吞吐量，MFU 用于将峰值硬件性能折算为实际模型吞吐量，η_scaling 用于扣除因通信和协调导致的增机性能损耗，而 f_overhead 剔除了流水线气泡、检查点、故障恢复和维护所占据的墙钟时间。以下三个小节将依次固定这些因素的取值。

模型 FLOPs 利用率

模型浮点运算利用率 (MFU)

模型浮点运算利用率 (MFU) 衡量实际计算吞吐量与硬件峰值理论吞吐量的比率。MFU 为 0.50 意味着工作负载实现了峰值 FLOP/s 的一半。表 G.14 列出了本书中用于训练时间和成本估算的参考 MFU 范围。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 训练 MFU (低端) | 0.3 | (分数) |

| 训练 MFU (高端) | 0.5 | (分数) |

| 推理 MFU (批大小 1) | 0.05 | (分数) |

| 推理 MFU (批处理) | 0.4 | (分数) |

表 G.14：模型浮点运算利用率 (MFU) 范围：训练 MFU 0.3–0.5 来自大模型训练报告 (Chowdhery 等人 2022; Narayanan 等人 2021)；推理批大小为 1 的 MFU 为 5% 来自 (Pope 等人 2023) (内存受限解码)。

扩展效率

扩展效率 η[scaling] = T[1] / (N × T[N]) 衡量新增算力中有多少真正缩短了训练时间。表 G.15 列出了与大规模已发布 LLM 训练相符的示例效率层级—依赖于工作负载和网络结构。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 扩展效率 (32 GPU) | 0.9 | (分数) |

| 扩展效率 (256 GPU) | 0.7 | (分数) |

| 扩展效率 (1,024 GPU) | 0.5 | (分数) |

| 扩展效率 (8,192 GPU) | 0.35 | (分数) |

表 G.15：按集群规模划分的扩展效率：来自 (Chowdhery 等人 2022; Z. Jiang 等人 2024) 的示例 η[scaling] 层级。在 8,192 GPU 时，2,867.2 个有效 GPU 对应 0.35 的名义值。

开销预算

实际训练作业将一部分墙钟时间花费在非计算活动上：流水线气泡空闲时间、检查点写入、故障恢复和计划维护。表 G.16 列出了本书假设的开销预算。这些分数是可加的：舰队规模的总开销约为 5% + 3% + 10% + 5% = 23%，意味着只有 77% 的墙钟时间产生有效的训练进度。

| 假设 | 数值 | 单位 |

| --- | --- | --- |

| 墙钟时间开销 (流水线气泡) | 0.05 | (分数) |

| 墙钟时间开销 (检查点写入) | 0.03 | (分数) |

| 墙钟时间开销 (故障恢复) | 0.1 | (分数) |

| 墙钟时间开销 (计划维护) | 0.05 | (分数) |

表 G.16：开销预算 (墙钟时间分数): 书中约定的流水线气泡、检查点写入、故障恢复和维护的墙钟时间分数—工程目标，而非物理常数。合计 23% 开销 ⇒ 30 天运行中有 23.1 天的有效工作。

上述表格使用表 G.17 中的单位约定—十进制数据前缀 (KB = 10³ 字节)，区分工作量 (FLOPs) 与吞吐量 (FLOP/s)，以及下文的别名。

单位约定

表 G.17 固定了本卷中每个量化示例使用的单位约定。每行给出 1 别名 = k 基础单位 中的乘数 k。数据前缀使用十进制 SI (KB = 10³ 字节，而非 1024)。吞吐量 (FLOP/s, GB/s) 将这些别名与时间结合；添加不兼容维度 (字节到 FLOP/s) 是估算中的类别错误，而非单位换算。

| 别名 | 乘数 | 基础单位 |

| --- | --- | --- |

| byte | 1 | byte |

| KB | 1000 | byte |

| MB | 1e+06 | byte |

| GB | 1e+09 | byte |

| TB | 1e+12 | byte |

| PB | 1e+15 | byte |

| flop | 1 | flop |

| GFLOPs | 1e+09 | flop |

| TFLOPs | 1e+12 | flop |

| ZFLOPs | 1e+21 | flop |

| param | 1 | param |

| Mparam | 1e+06 | param |

| Gbps | 1e+09 | bit/s |

| NS | 1e-09 | second |

| US | 1e-06 | second |

| MS | 0.001 | second |

| second | 1 | second |

| hour | 3600 | second |

| day | 86400 | second |

| joule | 1 | joule |

| watt | 1 | watt |

| meter | 1 | meter |

表 G.17：单位约定：十进制 SI 别名和比例因子 (书中约定)。吞吐量形式 (FLOP/s, GB/s) 使用相同约定将工作量或数据除以时间。

除表格外，有两个舰队规模约定值得强调：

网络带宽同时以比特率 (Gbps) 和字节率 (GB/s) 出现。除以 8 可将 Gbps 转换为 GB/s (例如，400 Gbps = 50 GB/s，适用于 InfiniBand NDR)。章节根据计算需要使用任一形式；字节率通常更便于传输时间估算。
碳强度使用 gCO[2]/kWh (每千瓦时二氧化碳克数)。将总能量 (kWh) 乘以区域碳强度得到以克为单位的排放量，再除以 10⁶ 换算为吨。

假设来源

下表将各附录章节映射到来源类别和主要参考文献。书中使用 @citekey 引用；mlsysim 与 Sourced 注册表标量的 Provenance 记录和 metadata (如 Systems.Reliability.Gpu.mttf_hours.provenance, Hardware.Cloud.H100.metadata.provenance) 共享相同溯源，无附带 .bib 文件。完整表见表 G.18。

| 附录章节 | 来源类型 | 主要参考文献 |

| --- | --- | --- |

| H100 回顾 | 厂商数据手册峰值 | (Choquette 2023) |

| 集群层级 | 书中约定 | (Kokolis 等人 2025) (规模背景) |

| 网络架构 | 厂商规格; InfiniBand 标准 | (NVIDIA Corporation 2017, 2020; Choquette 2023; InfiniBand Trade Association 2000) |

| 可靠性 (MTTF) | 舰队研究 | (Kokolis 等人 2025; Zu 等人 2024; Barroso 等人 2019) |

| 恢复时间 | 设计假设 | (Young 1974; Daly 2006) |

| 通信 (α–β) | 架构规格; 大规模训练 | (InfiniBand Trade Association 2000; Z. Jiang 等人 2024) |

| AllReduce 模型 | 算法标识 | (Gibiansky 2017) |

| 可持续性 (PUE/WUE/机架功耗) | 行业调查 | (Uptime Institute 2022; The Green Grid 2007) |

| 碳强度 | 电网统计 | (International Energy Agency 2023) |

| 云经济学 | 示例费率 | 编辑部 (2024–2025 数量级) |

| MFU 和扩展效率 | 已发布 LLM 训练 | (Chowdhery 等人 2022; Narayanan 等人 2021; Pope 等人 2023; Z. Jiang 等人 2024) |

| 开销预算 | 书中约定 | 编辑部工程目标 |

| 单位约定 | 十进制 SI; 书中符号 | 编辑部 |

表 G.18：舰队假设来源目录：从附录章节到来源类别和参考书目的快速映射。

摘要

附录 G：舰队规模假设与术语表

本附录是本书共享的舰队规模假设表：全书中每个“餐巾纸估算”都应能追溯到上表中的某一行——且在重要的情况下，追溯到 G.1 节和表 G.18。

共享舰队数字的单一出处：集群层级、网络带宽、MTTF 和恢复时间、α–β 通信参数、设施效率、用水量、碳强度、云定价、MFU、扩展效率，以及工作示例中使用的开销预算均列于此，以便您无需从正文重新推导即可进行审计或替换。
可靠性假设设定故障时钟：MTTF 和恢复时间行决定了故障中断训练的频率以及损失了多少墙钟时间。在 10,000+ GPU 规模下，故障是稳态，而非例外；更深入的建模请见附录 E。
通信假设决定可行性：α–β 值决定了对于给定模型规模和网络，同步分布式训练是否可行。RDMA 与 TCP 之间 10 倍的延迟差距解释了为何训练集群青睐 InfiniBand。
可持续性假设揭示位置杠杆：设施效率、用水量和碳强度表明，数据中心选址和冷却方式的影响可能超过许多算法层面的调优。挪威和波兰电网碳强度之间 82 倍的差距往往是最大的杠杆。
容量假设量化可用吞吐量：MFU、扩展效率和开销预算将峰值硬件性能与有效吞吐量联系起来。在 8,192 GPU 规模下，仅实现了约 35% 的理想扩展，而综合开销消耗了约 23% 的墙钟时间。
替换您自己的假设：当您的部署不同——不同网络、区域、MFU 或集群规模时——替换 Value 列并重新运行各章使用的相同公式。
争论数字前请核对来源：数据手册峰值、舰队研究、示例费率和书内约定的来源各不相同；表 G.18 和章节说明标明了具体来源。

术语表

本术语表定义了全书使用的关键术语。术语按字母顺序排列。

A

accountability (问责制): 个人或组织对 AI 系统结果负责的机制，涉及可追溯性、文档记录、审计以及补救危害的能力。
activation checkpointing (激活检查点 / 激活重计算): 一种节省内存的训练技术，仅存储选定的激活值，在反向传播期间重新计算其他激活值，以额外计算换取更低的内存占用。
adapter modules (适配器模块): 插入预训练模型冻结层之间的小型可训练神经网络组件，用于在不修改基础架构的情况下实现轻量级适配。
adaptive resource pattern (自适应资源模式): 一种设计模式，使系统能根据计算负载、网络带宽和存储容量动态调整运营以应对资源可用性的变化，通过扩缩容确保效率和弹性。
adversarial attack (对抗攻击): 一种攻击类型，精心构造的输入旨在导致机器学习模型做出错误预测，而在人类眼中这些输入与合法数据几乎无法区分。
adversarial example (对抗样本): 旨在欺骗机器学习模型做出错误预测的恶意修改输入，通常通过向合法数据添加微小的、人类难以感知的扰动来创建。
adversarial training (对抗训练): 一种防御技术，通过在对抗样本上训练模型来提高其鲁棒性和正确分类对抗输入的能力。
AGI (通用人工智能): Artificial General Intelligence —— 计算系统在所有知识和推理领域达到或超越人类认知能力，无需特定任务训练即可跨多种问题领域泛化。
AI for good (AI 向善): 旨在解决重要社会和环境挑战、增进人类福祉、促进可持续发展并助力全球发展目标的机器学习系统的设计、开发与部署。
algorithmic fairness (算法公平性): 自动化系统不应基于种族、性别、年龄等受保护属性使个人或群体处于不成比例的劣势这一原则。
AllGather (AllGather / 全收集): 一种集合通信操作，收集各秩的分片并将合并结果提供给每个秩。
AllReduce (AllReduce / 全归约): 一种集合通信操作，跨秩归约数值并将归约结果返回给每个秩，常用于梯度同步。
AllToAll (AllToAll / 全互换): 一种集合通信操作，每个秩向每个其他秩发送不同数据，并从每个其他秩接收不同数据。
alpha-beta model (α-β 模型 / Alpha-Beta 模型): 一种通信成本模型，将固定启动延迟与消息大小相关的传输时间分离，以估算数据移动成本。
anomaly detection (异常检测): 识别不符合预期行为的数据模式，常用于检测系统中的离群值、故障或恶意活动。
anonymization (匿名化): 从数据集中移除或修改个人身份信息以保护个人隐私的过程，尽管往往难以抵御复杂的重识别攻击。
arithmetic intensity (算术强度 / 运算强度): 每移动一个字节数据所执行的计算量，通常以 FLOP/byte 衡量。
artificial general intelligence (通用人工智能): 一种假设的 AI 形式，在所有领域达到或超越人类认知能力，代表超越当前弱人工智能的 AI 研究终极目标。
artificial intelligence (人工智能): 计算机科学的一个广泛领域，专注于创建能够执行通常需要人类智能的任务的系统，包括学习、推理和决策。
attack taxonomy (攻击分类法): 对针对 ML 系统的网络安全威胁和对抗攻击的系统性分类，按方法、目标和影响组织威胁以指导防御策略。
autoencoder (自编码器): 一种通过最小化重构误差学习数据压缩表示的神经网络架构，常用于异常检测和降维。
automation bias (自动化偏见): 人类倾向于过度依赖自动化系统输出的倾向，即使存在明显错误，也可能损害人工监督。
AutoML (自动化机器学习): 利用算法自动化将机器学习应用于现实问题的过程，包括特征工程、模型选择和超参数调优。
availability attack (可用性攻击): 一种数据投毒攻击，旨在通过在多个类别中引入噪声或破坏训练数据来降低机器学习模型的整体性能。

B

backdoor attack (后门攻击): 一种数据投毒，在训练数据中嵌入隐藏触发器，导致模型在推理时遇到特定模式时表现出恶意行为。
backfill scheduling (回填调度): 一种调度策略，在不延迟预留大作业的前提下，利用空闲间隙运行较小作业。
backpropagation (反向传播): 通过将误差信号从后向前逐层传播来计算神经网络梯度的算法，对训练至关重要但在资源受限设备上计算开销大。
bayesian neural networks (贝叶斯神经网络): 在权重上引入概率分布的神经网络，能够量化预测中的不确定性并支持更稳健的决策。

bias detection (偏见检测)

用于识别机器学习系统中不公平歧视或差异对待的系统化方法

偏见缓解: 旨在减少机器学习系统中不公平歧视的技术和干预措施，应用于数据收集、模型训练或后处理阶段。
仅偏见适应: 一种轻量级训练策略，冻结所有模型权重，仅更新标量偏置项，大幅降低了设备端学习的内存需求和计算开销。
装箱问题: 将具有资源需求的作业分配到固定容量的节点或集群中；在机器学习集群中，这通常跨越 GPU、内存、CPU、网络局部性和拓扑结构。
生物多样性监测: 利用相机陷阱和传感器网络等技术，对生物多样性进行系统性观察和测量，以追踪物种种群、栖息地变化和保护成效。
二分带宽: 将网络分割为两个相等部分的任意切割所跨越的最小聚合链路容量，限定了全局通信的最坏情况吞吐量。
位翻转: 一种硬件故障，内存或寄存器中的单个位意外地将其值从 0 变为 1 或反之，可能导致数据或计算损坏。
黑盒攻击: 一种对抗性攻击，攻击者不了解模型的内部架构、参数或训练数据，必须仅依靠查询模型并观察输出。
脑机接口: 大脑与外部设备之间的直接通信路径，通过神经信号实现对计算机或假肢的控制，代表了机器学习与神经技术的融合。
内置自测试 (BIST): 允许组件使用专用电路和预定义测试模式自行测试故障的硬件测试机制。
批量同步并行 (BSP): 一种并行执行模型，其中工作节点执行本地计算、进行通信，然后在进入下一步前在全局屏障处等待。

C

缓存时序攻击: 一种侧信道攻击，利用内存缓存访问模式的变化来推断程序执行或数据的敏感信息。
金丝雀部署: 一种发布模式，将一小部分流量路由到新模型或服务版本，监控其行为，然后再扩大范围或回滚。
CAP 定理: 一个分布式系统理论结果，指出在发生网络分区时，系统必须在强一致性和可用性之间做出选择。
碳感知调度: 一种计算方法，根据电网的碳强度调度 AI 工作负载，优先在可再生能源最丰富时执行。
碳足迹: 个人、组织、事件或产品直接和间接产生的温室气体排放总量，通常以二氧化碳当量衡量。
碳强度: 与单位电力相关的温室气体排放，通常以每千瓦时二氧化碳当量克数衡量。
碳使用效率 (CUE): 一项数据中心可持续性指标，将碳排放与 IT 能耗关联起来，类似于电源使用效率 (PUE) 衡量设施能源开销。
灾难性遗忘: 神经网络在适应新任务时丢失先前学到的知识的现象，是持续设备端学习场景中的关键挑战。
认证鲁棒性: 一种正式保证，即模型预测在指定半径或范数边界内的所有允许扰动下保持不变。
检查点与重启机制: 定期保存程序状态以便在故障后从最后保存的状态恢复的技术，提高了系统弹性。
分块预填充: 一种大语言模型服务技术，将长提示词的处理拆分为较小的块，使预填充工作能与解码工作交错进行。
客户端调度: 根据可用性、数据质量和资源约束选择参与联邦学习轮次的设备的过程，以确保模型更新具有代表性。
云机器学习: 利用云计算基础设施提供可扩展计算资源以进行训练和推理的机器学习系统，通常提供高带宽连接和强大的处理能力。
集体操作: 所有秩参与以聚合、广播或重新分发数据的组通信模式。
组合逻辑: 输出仅取决于当前输入状态，而不依赖任何过去状态或存储元件的数字逻辑电路。
复合 AI 系统: 通过系统集成将多个专用模型、工具和组件结合以实现复杂能力的 AI 架构，而非依赖单一整体模型。
Compute Express Link (CXL): 一种缓存一致性互连标准，允许 CPU、加速器和内存设备通过基于 PCIe 的链路共享或池化内存。
概念瓶颈模型: 首先预测可解释的中间概念，然后再进行最终预测的神经网络架构，将深度学习的强大能力与透明度相结合。
概念漂移: 输入特征与目标输出之间关系随时间发生的变化，需要模型适应以维持性能。
保护技术: 旨在保护和监测野生动植物及生态系统的技术解决方案，包括相机陷阱、传感器网络和卫星监测系统，用于追踪动物行为和检测威胁。
一致性哈希: 一种基于哈希的路由方法，使键或会话映射到稳定的副本上，同时在副本添加或移除时将重新映射降至最低。
宪法 AI: 一种训练方法，模型通过根据一组原则评判回复来改进自身输出，实现迭代式自我完善，在保持实用性的同时减少有害内容。
持续学习: 机器学习系统从数据流中持续学习同时保留先前获取知识的能力，解决了神经网络中的灾难性遗忘挑战。

连续批处理

posted @ 2026-09-06 04:02 绝不原创的飞龙阅读(3) 评论(0) 收藏举报

刷新页面返回顶部

龙哥盟

掠夺·扩张·投机·博弈

哈佛-CS249r-机器学习系统第二卷-九-

哈佛 CS249r：机器学习系统第二卷（九）

第五原则：可持续性

第六原则：生产规模下的涌现行为

完整的生产系统

舰队技术栈：相互依赖与工程判断

掌握的核心能力

舰队栈即纪律

大规模工程智能

系统洞察

谬误与陷阱

总结

参考文献

参考文献

D·A·M 基础

目的

如何使用本附录

诊断摘要

铁律映射

D·A·M 协调：从求和到取最大值

算术强度边界

瓶颈诊断

D·A·M 分类法

汇总表

表 A.3：有效优化 vs. 无效投入

表 A.4：D·A·M 工具链图谱

表 A.5：D·A·M 效率评分卡

分类法的扩展：从单节点到集群

约束条件的演变

通往 C³ 的桥梁

总结

C³ 分类法

目的

如何使用本附录

从 D·A·M 到 C³

C³ 分类法与集群定律

诊断总结

集群定律

组件分解

交叉领域

计算 ∩ 通信

通信 ∩ 协调

计算 ∩ 协调

经验法则

C³ 红绿灯指标

瓶颈诊断表

C³ 案例研究

案例 1：利用率低下的舰队（计算）

现象

诊断

修复方案

案例 2：通信墙（通信）

现象

诊断

修复方案

案例 3：协调税（协调）

现象

诊断

修复方案

流水线调度优化

生产环境故障排查

工具链图谱

C³ 记分卡

透过 C³ 视角看缩放定律

为何缩放定律假设完美的 C³

有效 FLOP/s 概念

总结

舰队基石

目的

如何使用本附录

三大系统范式

高性能计算

仓储级计算

ML 舰队：混合架构

基石回顾

每位 fleet 工程师应知的数字

不变量：永不改变的比率

网络层级比率