正则化

过拟合问题

导致结果不正确。

解决办法

使\(\theta\)的取值尽量小，已达到曲线平滑。
但当\(\theta\)取值过小会导致欠拟合
改变代价函数
线性回归：

\[J(\theta)=\frac{1}{2m}(\sum_{i=1}^{m}({h_\theta(x^i)-y(x^i)})^2+\lambda\sum_{j=1}^n\theta_j^2) \]

使用梯度下降迭代

\[\theta_0=\theta_0-\alpha\frac1m(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)} \]

\[\theta_j=\theta_j-\alpha[\frac1m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+\frac\lambda m\theta_j] \]

\(\theta_j变形\)

\[\theta_j=\theta_j(1-\frac\lambda m\theta_j)-\alpha\frac1m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)} \]

使用正则化公式
$$
\theta=\left(X^TX+\lambda
\left[
\begin{matrix} 0 \ & 1 \& &1\ &&&\ddots\&&&&1 \end{matrix}
\right]
\right)^{-1}XTy$$

其中

\[X=\begin{bmatrix} x(1)^T\\x(2)^T\\\vdots\\x(m)^T \end{bmatrix} ,y=\begin{bmatrix} y(1) \\y(2) \\\vdots\\y(m) \\\end{bmatrix} \]

\[X为m*(n+1)的矩阵，y为m维向量 \]

logistic回归：
与线性回归相同，但是\(h_\theta(X)\)定义不同。