评论排行榜

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

罗西的思考 2022-01-27 18:50 阅读:28499 评论:2 推荐:1

[源码分析] Facebook如何训练超大模型 --- (2)

罗西的思考 2022-01-19 19:53 阅读:3512 评论:2 推荐:0

[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding

罗西的思考 2022-01-13 19:48 阅读:1432 评论:2 推荐:0

[源码解析] PyTorch 分布式(15) --- 使用分布式 RPC 框架实现参数服务器

罗西的思考 2021-12-14 17:03 阅读:1812 评论:2 推荐:0

[源码解析] PyTorch 分布式(12) ----- DistributedDataParallel 之前向传播

罗西的思考 2021-11-27 10:17 阅读:4271 评论:2 推荐:0