2022年10月26日
权重衰减 - Weight Decay
摘要： 简述 权重衰减（又称L2-正则化）是一种模型正则化（Regularzation）技术。 原理 首先，用权重向量的L2-范数来衡量模型函数的复杂度，这是对模型复杂度的量化。 把上述L2-范数加入到训练目标中。我的意思是，模型现在的训练目标调整为：最小化预测误差与L2-范数的和。 这个L2-范数也叫做惩 阅读全文
posted @ 2022-10-26 01:06 紫苏薄荷 阅读(378) 评论(0) 推荐(0) 编辑

> To be continued