摘要:
省流版本 在输出一个张量时,你可以根据张量输出的方括号([])的数量来判断张量的维度。每个方括号对应张量的一个维度,张量的维度数就是方括号的数量。 最外面的为第一个维度,往里面依次为第2 3 ... 维度。 例如,如果你看到如下输出: tensor([[1, 2, 3], [4, 5, 6]]) 这 阅读全文
posted @ 2023-09-26 11:17
诗子黎
阅读(559)
评论(0)
推荐(0)
tag: AI category: 系统论文 又要读论文啦!! 目的:联合利用多个GPU来训练图神经网络。 方式:用一种特殊的数据布局来利用GPU之间的NVLink连接, 并且GPU(显存)中存放了图形拓扑和popular node features。 措施: 引入集体采样源语:collective 阅读全文
tag: AI category: 系统论文 2 Background and Motivation MoE:Misture-of-Expertsn FFN为MoE模型中的专家,多个FFN和一个Gating组成了基本的MoE模型。 2.2 混合和自动并行化 训练密集型深度学习网络的常见的三种并行方式 阅读全文