2023年9月19日
AI系统论文：Janus（MoE）（continuing）
摘要： tag: AI system category: 系统论文 abstruct all-to-all communication: (expert-centric) 让专家位于原地，数据在专家之间进行交换。 作者提出了一种”data-centric“的范式：让数据位于原地，在GPU之间移动专家。（因为 阅读全文
posted @ 2023-09-19 19:35 诗子黎 阅读(410) 评论(0) 推荐(0)
AI系统论文：DSP。
摘要： AI系统论文：DSP。 tag: AI category: 系统论文 又要读论文啦！！ 目的：联合利用多个GPU来训练图神经网络。 方式：用一种特殊的数据布局来利用GPU之间的NVLink连接， 并且GPU（显存）中存放了图形拓扑和popular node features。 措施： 引入集体采样源语：collective 阅读全文
posted @ 2023-09-19 17:18 诗子黎 阅读(193) 评论(0) 推荐(0)
AI系统论文：SmartMoE
摘要： AI系统论文：SmartMoE tag: AI category: 系统论文 2 Background and Motivation MoE：Misture-of-Expertsn FFN为MoE模型中的专家，多个FFN和一个Gating组成了基本的MoE模型。 2.2 混合和自动并行化 训练密集型深度学习网络的常见的三种并行方式 阅读全文
posted @ 2023-09-19 17:05 诗子黎 阅读(459) 评论(0) 推荐(0)