2025年1月6日
NCCL 前言
摘要： NCCL 的原理 NCCL是专为NVIDIA GPU设计的集合通信库，它和 MPI 一样支持多种高效的集体通信操作，如广播、归约、全收集等。通信的实现方式分为两种类型：机器内通信与机器间通信。 机器内通信： GPU Direct Shared Memory（2010年6月引入）：共享内存（QPI/U 阅读全文
posted @ 2025-01-06 17:52 松—松 阅读(637) 评论(0) 推荐(1)