多级多卡训练模型时有些参数没有参与loss计算和梯度更新的解决办法

在运行程序的bash命令中添加 export TORCH_DISTRIBUTED_DEBUG=DETAIL ,这样就可以在log或终端打印没有参与loss计算的权重参数了。

 

posted @ 2025-10-23 19:43  Picassooo  阅读(3)  评论(0)    收藏  举报