关于export TORCH_DISTRIBUTED_DEBUG=DETAIL的时候报错问题

PyTorch 文档明确说 DETAIL 会返回一个 wrapper process group,不只是多打日志。

当前 torch==2.9.0;而 v2.9.0 和 v2.9.1 的 ProcessGroupWrapper.cpp 里都没有 reduce_scatter_tensor_coalesced(...) 这个方法。
torch=2.9.0
PyTorch 主干后来专门合入了 commit b4bd79d / PR #168961,补的正是 “Add reduce_scatter_tensor_coalesced support to ProcessGroupWrapper”,提交说明里直接写了:开启 TORCH_DISTRIBUTED_DEBUG=DETAIL 时,ProcessGroupWrapper 不支持这个接口,会导致 Backend does not support reduce_scatter_tensor_coalesced。
commit详情
但是还没有merge。

Megatron use_distributed_optimizer 下进入 _coalescing_manager(...),然后在 grad sync 里走 reduce-scatter

posted @ 2026-04-09 16:21  AAA建材王师傅  阅读(24)  评论(0)    收藏  举报