机器学习-回归模型

f(x)=w^Tx+b

线性回归

岭回归

LASSO LASSO是least absolute shrinkage and selection operator的简称

逻辑回归(对数几率回归)

---

 

线性回归

线性回归要求均方误差最小: 

$(w^{*},b^{*})=argmin\sum_{i=1}^m(f(x_{i})-y_{i})^{2}$

岭回归

$w=(X^TX+\lambda I)^{-1}X^Ty$ 

LASSO

虽然用绝对值取代了平方和，但结果却差别很大。在λ足够小的时候，一些系数会因此被迫缩减为0，这样结果就有很好的稀疏性，这个特性可以帮助我们更好地理解数据。两个看起来相差无几，但细微的变化却极大增加了计算复杂度。为了在此约束下求解，需要使用二次规划算法

 $\sum_{k=1}^{n}|w_k|\leq\lambda$

逻辑回归(对数几率回归)

$y=\frac{1}{1+e^{-z}}$