2025年10月23日
多级多卡训练模型时有些参数没有参与loss计算和梯度更新的解决办法
摘要： 在运行程序的bash命令中添加 export TORCH_DISTRIBUTED_DEBUG=DETAIL ，这样就可以在log或终端打印没有参与loss计算的权重参数了。 阅读全文
posted @ 2025-10-23 19:43 Picassooo 阅读(12) 评论(0) 推荐(0)