2018年12月4日
weight_decay(权重衰减)
摘要： 权重衰减等价于L2范数正则化。正则化通过为模型损失函数添加惩罚项使得学习的模型参数值较小，是常用的过拟合的常用手段L2范数正则化是在模型原损失函数基础上添加L2范数惩罚项，其中L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。比如，对于线性回归损失函数： $\iota(w_1, 阅读全文
posted @ 2018-12-04 20:34 andreaxgz 阅读(7175) 评论(0) 推荐(1)