Normal Equation Algorithm

和梯度下降法一样，Normal Equation（正规方程法）算法也是一种线性回归算法(Linear Regression Algorithm)。与梯度下降法通过一步步计算来逐步靠近最佳θ值不同，Normal Equation提供了一种直接得到最佳θ值的公式。

我们知道，求解曲线f(x)=ax^2+bx+c极值的问题，其解法是求导数f'(x)，并将其置0，求解出极值点。（因为斜率为0，所以是极值）。

而放宽到θ系数矩阵，我们同样可以对每个θ求偏导数，从而得到我们想要的J(θ)。

利用內积公式：

对J(θ)求导数并置零后，我们最终解得：

这也是Normal Equation Algorithm所给出的一步求得θ的方法。

关于该算法的Octave仿真，请见：Normal Equation Algorithm的Octave仿真