摘要：
简单概念对应情况 具体版本支持 核心的设计dispatch pytorch Adapter 逻辑架构图 阅读全文
posted @ 2024-07-23 17:41
ITJAMESKING
阅读(30)
评论(0)
推荐(0)
摘要：
面向训练场景的有Ascend 910系列 和Ascend 310系列 AI CORE是昇腾AI处理器的计算核心，采用华为自研究的达芬奇架构。 具有矩阵计算单元，向量计算单元，标量计算单元，累加器 CANN逻辑架构介绍。 是华为针对AI推出的异构计算架构。 服务层 计算编译层 阅读全文
posted @ 2024-07-23 17:09
ITJAMESKING
阅读(117)
评论(0)
推荐(0)
摘要：
现在大模型训练主要用BF16 构建多卡训练系统主要考虑：算力，网络，存储。 阅读全文
posted @ 2024-07-23 16:36
ITJAMESKING
阅读(29)
评论(0)
推荐(0)
摘要：
1.大模型对运维的要求也是相对严格特别是光模块对环境的要求相对严格。 2.大模型训练的影响因素 分布式训练切法：Tensor模型并行：pipeline并行，数据并行。和称PTD并行。all to all专家并行（华为优化方案分层分级） 补充QKV 以及LayerNorm深入理解NLP中LayerNo 阅读全文
posted @ 2024-07-23 16:28
ITJAMESKING
阅读(44)
评论(0)
推荐(0)
浙公网安备 33010602011771号