摘要：1、L2正则化 由最小二乘法得到的损失函数为 对于 L2 正则化，损失函数为 2、线性回归的极大后验估计（MAP） 假设 映射函数为 f(w)=wTx 真实标签与预测值之间的关系为：y=f(w)+ε=wTx+ε 其中 ε~N(0,σ2) 权重参数 w~N(0,σ02) 后验概率 p(w|y)=p(y 阅读全文

摘要：1、原始损失函数 由最小二乘法得到的损失函数为 最小二乘法得到的参数 w 的极大似然估计值为 由于 有可能是不可逆矩阵，因此 可能无法得到解析解（即方程有无数多个解，易造成过拟合） 2、正则化框架 L(w) 为最小二乘法得到的损失函数(Loss) P(w) 可理解为罚函数 常用 L1/L2 范数作为 阅读全文

摘要：1、定义 正定矩阵：给定一个大小为 n*n 的实对称矩阵 A ，若对于任意长度为 n 的非零向量 x，有 xTAx>0 恒成立，则矩阵 A 是一个正定矩阵。 半正定矩阵：给定一个大小为 n*n 的实对称矩阵 A ，若对于任意长度为 n 的向量 x，有 xTAx>0 恒成立，则矩阵 A 是一个个半正定 阅读全文

摘要：1、公式法推导 已知数据集 (X,Y)，X、Y 均为列向量，列内第 i 行代表 X、Y 的一个样本 xi、yi 假设 X 和 Y 满足线性映射：Y=WTX 则预测值与真实值之间的误差（距离）为 PS：因为 YTXw 是一个实数，因此 YTXw =wTXTY 则权重矩阵 w 的最小二乘估计值为： 2、 阅读全文

摘要：PS：此部分参考B站“机器学习白板推导系列”课程，清华大佬讲解的很棒，具体链接已附上 PPS：该部分视频连接：https://www.bilibili.com/video/av70839977?p=7 1、约束优化问题 原问题 对原问题构造拉格朗日函数 原问题转化为无约束形式 2、对偶问题 上述问题 阅读全文