夏天只喝脉动

摘要： 优点 1.显存占用少 2.训练更快 缺点 1.数据溢出 -> 在训练后期激活函数的梯度会非常小，在梯度乘以学习率后，值会更加小。可能会导致下溢出 2.舍入误差 -> FP16 最大范围是 [-65504 - 66504]，虽然最小精度为 2-24，该精度不是在范围内各个区间都支持，例 在[2-3,2 阅读全文

摘要： NLLLoss = -x[class] x为输出张量 class为target 注！数据准备阶段target是一个class_index∈[0,n-1] n = 类别总数 Pytorch会自动转为One-Hot格式 CELoss同理 CELoss = softmax + log + NLLLoss 阅读全文