Loading

07 2024 档案

LLM并行训练7-混合并行总结
摘要：LLM并行训练-总结: 如何调整混合并行策略和nvidia训练GPT3的分析 阅读全文
posted @ 2024-07-29 21:29 SunStriKE 阅读(1524) 评论(0) 推荐(0)
LLM并行训练6-激活优化
摘要：LLM训练activation优化相关技术, 包括激活重计算/序列并行/zero-R/zero-offload等 阅读全文
posted @ 2024-07-20 21:10 SunStriKE 阅读(867) 评论(2) 推荐(0)
LLM并行训练5-MoE并行
摘要：LLM并行训练-moe并行学习笔记 阅读全文
posted @ 2024-07-20 12:48 SunStriKE 阅读(2920) 评论(0) 推荐(0)