RuntimeError: Legacy autograd function with non-stat
摘要:原文:https://www.tqwba.com/x_d/jishu/210242.html
阅读全文
各种激活函数
摘要:原文链接:https://blog.csdn.net/tyhj_sf/article/details/79932893 原文链接:https://blog.csdn.net/qq_40514904/article/details/103638147 如果不用激励函数(其实相当于激励函数是f(x) =
阅读全文
loss函数
摘要:1.MSE(均值平方差)数理统计中演化而来,均方误差是指参数估计值和参数真实值之差平方的期望值。在此处其主要是对每个预测值与真实值作差求平方的平均值,具体公式如下所示: MSE越小代表模型越好,类似的算法还包括RMSE和MAD。 2.交叉熵交叉熵(crossentropy)刻画了两个概率分布之间的距
阅读全文
BN以及各种变体
摘要:原文地址:https://blog.csdn.net/liuxiao214/article/details/81037416 1、综述1.1 论文链接1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normaliz
阅读全文