摘要： 在 PyTorch 训练中，torch.cuda.empty_cache() 的正确使用需要结合具体场景。以下是 5 种典型使用场景和最佳实践建议： 1. 训练循环中显存碎片化严重时 适用场景 • 当出现 CUDA out of memory 但计算显存需求理论上足够时 • 使用动态计算图或频繁创建 阅读全文

摘要： PyTorch 中四种并行策略的详细对比说明，包含工作原理、适用场景和配置示例： 1. DP (DataParallel) - 数据并行 工作原理 # 内部实现伪代码 def forward(inputs): split_inputs = chunk(inputs, num_gpus) # 数据切分 阅读全文