【bug】RuntimeError: CUDA error: device-side assert triggered

参考文献

https://blog.csdn.net/BetrayFree/article/details/134267306

问题描述

RuntimeError: CUDA error: device-side assert triggered
在复现ssd代码的过程中出现上述报错
报错信息提示是在multibox_loss.py的conf_p = conf_data[(pos_idx+neg_idx).gt(0)].view(-1, self.num_classes)这一段产生的报错

分析

这个提示信息主要是由于索引越界发生的

关于conf_p = conf_data[(pos_idx+neg_idx).gt(0)].view(-1, self.num_classes)的解释：

在SSD目标检测模型的损失函数计算中，conf_p = conf_data[(pos_idx+neg_idx).gt(0)].view(-1, self.num_classes) 这行代码负责筛选出参与分类损失计算的正样本和负样本，并将它们重新组织成二维张量。下面详细解释其中各个参数的含义：

参数解析

1. conf_data

   • 类型：torch.Tensor
   • 形状：(batch_size, num_priors, num_classes)
   • 含义：模型预测的每个先验框（default box）对应各个类别的置信度分数。例如，conf_data[0, 100, 2] 表示第一张图像中第101个先验框属于第3类（索引从0开始）的预测分数。

2. pos_idx

   • 类型：torch.Tensor（布尔掩码）
   • 形状：(batch_size, num_priors, num_classes)
   • 含义：正样本的索引掩码。通过 pos.unsqueeze(2).expand_as(conf_data) 生成，其中 pos 是 conf_t > 0 的结果，表示哪些先验框匹配到了真实目标（非背景）。每个正样本在所有类别维度上都被标记为 True。

3. neg_idx

   • 类型：torch.Tensor（布尔掩码）
   • 形状：(batch_size, num_priors, num_classes)
   • 含义：负样本的索引掩码。通过 neg.unsqueeze(2).expand_as(conf_data) 生成，其中 neg 是通过难例挖掘（hard negative mining）选择的负样本索引，表示哪些先验框应被视为背景。同样在所有类别维度上扩展。

4. (pos_idx+neg_idx).gt(0)

   • 类型：torch.Tensor（布尔掩码）
   • 形状：(batch_size, num_priors, num_classes)
   • 含义：合并正样本和负样本的掩码。pos_idx + neg_idx 对两个布尔张量逐元素相加（True 视为1，False 视为0），gt(0) 则将所有非零值转换为 True，最终得到一个包含所有正样本和负样本位置的掩码。

5. conf_data[(pos_idx+neg_idx).gt(0)]

   • 类型：torch.Tensor
   • 形状：(num_pos+num_neg, num_classes)
   • 含义：从 conf_data 中筛选出所有正样本和负样本对应的置信度分数，形成一个二维张量。

6. .view(-1, self.num_classes)

   • 类型：torch.Tensor
   • 形状：(num_pos+num_neg, num_classes)
   • 含义：将筛选后的张量重塑为二维矩阵，每行对应一个样本（正样本或负样本），每列对应一个类别。-1 表示自动计算第一个维度的大小（即样本总数）。

7. conf_p

   • 类型：torch.Tensor
   • 形状：(num_pos+num_neg, num_classes)
   • 含义：最终用于计算分类损失的预测置信度，包含所有选中的正样本和负样本。

代码作用总结

这行代码的核心目的是从模型预测的所有先验框置信度中，筛选出参与分类损失计算的样本：

• 正样本：与真实目标匹配的先验框
• 负样本：通过难例挖掘选择的高置信度背景框

筛选后的样本被重新组织为 (样本数, 类别数) 的二维张量，用于后续的交叉熵损失计算。这种方式高效地处理了SSD中大量先验框带来的正负样本不平衡问题。

解决方法

如果只想成功训练的话，只需要把num_classes调大就可以了，（尽管这样会和你数据集的实际类别数量不匹配）
关于这个索引越界，我重新检查了一遍标注文件，发现并没有标错多余的类别，标注类别确实是0-5
那么就是conf_data[(pos_idx+neg_idx).gt(0)]出现了问题