【大模型】通信元语和相关概念|NCCL梯度|Allreduce|Scatter|Broadcast|Gather
摘要：
目录 概念解释 通讯元语 Scatter（发散） Broadcast Gather（收集） All-Gather（全收集） Reduce-Scatter（规约发散） Reduce All-Reduce（全规约） Allreduce与Ring-Allreduce的区别？ All to All (Gat 阅读全文
posted @ 2025-03-24 05:33 bdy 阅读(69) 评论(0) 推荐(0)
浙公网安备 33010602011771号