吴恩达机器学习随笔（WEEK_3）

1. 一对多分类方法：就是one vs rest，有几类，就训练几个分类器，把新输入分别带入看哪个分类器的分数最高。

2. 参数与代价函数：我们初始的代价函数由初始参数（后面会讲到初始参数的几种选择方法）与各个特征值组成，经过梯度下降法不断迭代找到使得代价函数最小的参数值。我们可以绘制一幅图来明确的看出参数与代价函数及梯度下降法之间的关系，参数作为自变量，代价函数的值作为因变量，梯度就是代价函数方程对各个参数求偏导（对自变量求偏导），所得的就是梯度方向（方向导数变化最大的方向），然后通过一个学习率来控制下降的幅度，最终经过多次迭代，达到局部最优解。

3. 过拟合问题：与欠拟合相对，是由于算法有着较高的variance，导致结果过于匹配训练集，而不能很好的表示普遍情况。解决办法为：正则化，即在代价函数的方程最后加上所有参数的求和，该求和会乘一个系数用来控制拟合程度。