文章分类 -  大模型训练算法及infra技术

MindSpeed大模型训练前置知识之大并行加速算法
摘要：MindSpeed大模型训练前置知识之大并行加速算法 并行为什么对大模型训练这么重要？ 从chatgpt大模型爆发，尤其因规模定律作用下，大模型展现出涌现能力，AI模型的天花板被一步步摸高。大模型规模定律与模型参数量、训练数据量、算力大小呈幂律正相关性。大模型训练过程中需要面对“模型参数量大、训练数 阅读全文
posted @ 2024-12-20 17:05 Justbin的猹 阅读(122) 评论(0) 推荐(0)