足迹

摘要：姚伟峰 集合通信行为分析 - 基于NCCL Phases NCCL Topology Phase Build Physical Topology (i.e. System Topology) Transport Types Build Logical Topology (i.e. Graph Top 阅读全文

摘要：姚伟峰 单机互联拓扑获取 - 软件方式 NV GPU 概况 物理连接拓扑 Reference NV GPU 概况 $ nvidia-smi 如下是在某种机型上的输出示例： 可知，本机型共有8张V100S-PCIe卡，每卡TDP为250W，DRAM大小为32GB。 物理连接拓扑 $ nvidia-sm 阅读全文

摘要：姚伟峰 计算架构的演进 Landmark Superscalar时期(1990s) ILP(Instruction Level Parallelism) DLP(Data Level Parallelism) Heterogeneous Parallelism Multi Core时期(2000s) 阅读全文

摘要：并行优化有两个 scaling laws指导优化的界。 Amdahl's Law Amdahl's Law又叫strong scaling law。 Amdahl's Law For a given workload in single node, the theoretical speedup o 阅读全文