【NCCL】Ring Allreduce
摘要：
AllReduce算法概述 AllReduce主要目的是在所有处理器上收集并汇总数据，使得每个处理器都能获得全局数据的归约结果。 AllReduce就像一个“班级大合唱的收票统计”： 假设一个班有4个小组，每个小组算出了自己应该交的班费（比如A组10元，B组20元，C组30元，D组40元）。AllR 阅读全文
posted @ 2025-10-09 20:31 bdy 阅读(9) 评论(0) 推荐(0)
浙公网安备 33010602011771号