摘要： 官方文档：https://pytorch.org/docs/stable/nn.html#loss-functions 1：torch.nn.L1Loss mean absolute error (MAE) between each element in the input x and target 阅读全文

摘要： 为什么要用交叉熵来做损失函数： 在逻辑回归问题中，常常使用MSE（Mean Squared Error）作为loss函数，此时： 这里的 就表示期望输出，表示原始的实际输出（就是还没有加softmax)。这里的m表示有m个样本，loss为m个样本的loss均值。MSE在逻辑回归问题中比较好用，那么在 阅读全文

摘要： 0范数，向量中非零元素的个数。1范数，为绝对值之和。2范数，就是通常意义上的模。 1范数和0范数可以实现稀疏，1因具有比L0更好的优化求解特性而被广泛应用。然后L2范数： L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的正则项||W||2最小，可以使得W的每个元素都很小，都接近于0，但与 阅读全文