Loading

2024年7月20日
LLM并行训练6-激活优化
摘要： LLM训练activation优化相关技术, 包括激活重计算/序列并行/zero-R/zero-offload等 阅读全文
posted @ 2024-07-20 21:10 SunStriKE 阅读(789) 评论(2) 推荐(0)
LLM并行训练5-MoE并行
摘要： LLM并行训练-moe并行学习笔记 阅读全文
posted @ 2024-07-20 12:48 SunStriKE 阅读(2723) 评论(0) 推荐(0)