罗西的思考 - 博客园

2022年2月

摘要：在这篇文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-16 20:04 罗西的思考阅读(1228) 评论(0) 推荐(1)

摘要：本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-15 19:29 罗西的思考阅读(2934) 评论(2) 推荐(0)

摘要： NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。阅读全文

posted @ 2022-02-14 17:31 罗西的思考阅读(7088) 评论(3) 推荐(0)

posted @ 2022-02-10 18:42 罗西的思考阅读(9025) 评论(0) 推荐(2)

posted @ 2022-02-08 16:31 罗西的思考阅读(10293) 评论(3) 推荐(1)

摘要： NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本文将对 Megatron 的基本架构做一下梳理。阅读全文

posted @ 2022-02-07 20:12 罗西的思考阅读(13739) 评论(2) 推荐(0)

2022年1月

posted @ 2022-01-27 18:50 罗西的思考阅读(26706) 评论(2) 推荐(1)

摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，本文我们介绍 Activation recomputation 相关知识。阅读全文

posted @ 2022-01-26 08:47 罗西的思考阅读(1522) 评论(0) 推荐(0)

摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，之前文章之中我们谈到了FSDP支持混合精度训练，所以我们再来看看相关知识。阅读全文

posted @ 2022-01-24 18:44 罗西的思考阅读(1581) 评论(3) 推荐(0)

摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型。前文我们介绍了 FSDP 如何使用，本文从源码角度来介绍 FSDP 如何实现 offload。阅读全文

posted @ 2022-01-21 14:35 罗西的思考阅读(3909) 评论(6) 推荐(0)