2025年2月7日
[LLM] ZeRO-DP技术简析
摘要： [LLM] ZeRO-DP技术简析 本文对ZeRO: Memory Optimizations Toward Training Trillion Parameter Models中提出的ZeRO-DP进行简要总结。相关的讲解其实网上也有很多了，不过只看网上的终究还是有点走马观花，所以我还是决定自己写 阅读全文
posted @ 2025-02-07 12:42 CQzhangyu 阅读(238) 评论(0) 推荐(0)