2025年7月24日
[LLM]大模型训练DeepSpeed(一)-原理介绍
摘要： 前言 DeepSpeed核心思想 DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑。 比方说，我们只有一张10GB的GPU，那么我们很可能需要借助80GB的CPU，才能够训练一个大模型。 看一下官网对于这个理念的描述： Why would you want to use DeepSpe 阅读全文
posted @ 2025-07-24 15:42 有何m不可 阅读(224) 评论(0) 推荐(0)