Clopt

摘要： 权重衰退 权重衰退（Weight Decay）是一种常用的正则化技术，用于防止模型过拟合。其核心思想是通过惩罚较大的权重值，限制模型的复杂度，从而提高泛化能力。 使用均方范数作为硬性限制 通过限制参数值的选择范围来控制模型容量 ·通常不限制偏移 b(限不限制都差不多) ·小的0意味着更强的正则项 使 阅读全文

摘要： 模型选择 训练误差和泛化误差 1. 训练误差（Training Error） 定义：模型在训练数据集上的平均预测误差（即模型“记住”训练数据的能力）。 计算公式（以分类问题为例）： 其中n是训练样本，yi是真实标签，模型预测标签 特点： 训练误差低 ≠ 模型好（可能是过拟合）。 优化目标：通过损失函 阅读全文