吴恩达-机器学习笔记-第二章单变量线性回归(Linear Regression with One Variable)

参考：机器学习

笔记：

2.1 模型表示

1. ℎ 代表学习算法的解决方案或函数也称为假设（hypothesis）
2. 这就是一个监督学习算法的工作方式，我们可以看到这里有我们的训练集里房屋价格，我们把它喂给我们的学习算法，学习算法的工作了，然后输出一个函数，通常表示为小写 ℎ 表示。
3. 我们该如何表达 ℎ？ 一种可能的表达方式为：ℎ𝜃(𝑥) = 𝜃0 + 𝜃1𝑥，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。

 

2.2 代价函数

1. 如何为我们的模型（上文中的h）选择合适的参数 （parameters）𝜃0 和 𝜃1，在房价问题这个例子中便是直线的斜率和在𝑦 轴上的截距。选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（蓝线所指）就是建模误差（modeling error）。我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。即   使得代价函数最小。(代价函数是关于参数/系数的函数)
2. 代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

 

2.3 代价函数的直观理解 I

2.4 代价函数的直观理解 II

1. 
2.                                
3. 我们需要的是一种有效的算法，能够自动地找出这些使代价函数𝐽取最小值的参数𝜃0和𝜃1来。

 

2.5 梯度下降

引用【1】

一文看懂学习率Learning Rate，从入门到CLR

1. 梯度下降是一个用来求函数最小值的算法，能够自动地找出能使代价函数𝐽 最小化的参数𝜃0和𝜃1的值，我们将使用梯度下降算法来求出代价函数 𝐽(𝜃0, 𝜃1) 的最小值。 （梯度下降用来更新参数的）
2. 梯度下降背后的思想是：开始时我们随机选择一个参数的组合(𝜃0, 𝜃1, . . . . . . , 𝜃𝑛)，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

3. 批量梯度下降（batch gradient descent）算法的公式为：，其中𝑎是学习率（learning rate），是在梯度下降的过程中更新权重时的超参数，它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。（引用【1】）学习率越低，损失函数的变化速度就越慢，容易过拟合。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛，特别是在被困在局部最优点的时候。而学习率过高容易发生梯度爆炸，loss振动幅度较大，模型难以收敛。下图是不同学习率的loss变化，因此，选择一个合适的学习率是十分重要的。

4. 通常在训练一定epoch之后，都会对学习率进行衰减，从而让模型收敛得更好。学习率衰减有以下三种方式：

   • 轮数衰减：每经过n个epochs后学习率减半
   • 指数衰减：每经过n个epochs后学习率乘以一个衰减率
   • 
   • 分数衰减：和指数衰减类似，不过公式不太一样
5. 梯度下降算法，同时更新𝜃0和𝜃1：

 

2.6 梯度下降的直观理解

1. 梯度下降算法如下：，描述：对𝜃赋值，使得𝐽(𝜃)按梯度下降最快方向进行，一直迭代下去，最终得到局部最 小值。其中𝑎是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。，求导的目的，基本上可以说取这个红点的切线，就是这样一条红色的直 线，刚好与函数相切于这一点，让我们看看这条红色直线的斜率，就是这条刚好与函数曲线相切的这条直线，这条直线的斜率正好是这个三角形的高度除以这个水平长度，现在，这条线有一个正斜率，也就是说它有正导数，因此，我得到的新的𝜃1，𝜃1更新后等于𝜃1减去一个正数乘以𝑎。如果𝑎太小了，即我的学习速率太小，结果就是只能这样像小宝宝一样一点点地挪动， 去努力接近最低点，这样就需要很多步才能到达最低点，所以如果𝑎太小的话，可能会很慢， 因为它会一点点挪动，它会需要很多步才能到达全局最低点。     如果𝑎太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛，下一次迭代又移 动了一大步，越过一次，又越过一次，一次次越过最低点，直到你发现实际上离最低点越来越远，所以，如果𝑎太大，它会导致无法收敛，甚至发散。

2. 在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的 幅度，这是因为当我们接近局部最低点时，很显然在局部最低时导数等于零，所以当我们接近局部最低时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的做法。所以实际上没有必要再另外减小𝑎。这就是梯度下降算法，你可以用它来最小化任何代价函数𝐽，不只是线性回归中的代价 函数𝐽。

 

2.7 梯度下降的线性回归

1. 梯度下降算法和线性回归算法比较如图：

2. 对我们之前的线性回归问题运用梯度下降法，关键在于求出代价函数的导数，即

3. 则算法改写成：刚刚使用的算法，有时也称为批量梯度下降。实际上，在机器学习中，通常不太会给算法起名字，但这个名字”批量梯度下降”，指的是在梯度下降的每一步中，我们都用到了所有的训练样本，在梯度下降中，在计算微分求导项时，我们需要进行求和运算，所以，在每一个单独的梯度下降中，我们最终都要计算这样一个东西，这个项需要对所有𝑚个训练样本求和。因此，批量梯度下降法这个名字说明了我们需要考虑所有这一"批"训练样本，而事实上，有时也有其他类型的梯度下降法，不是这种"批量"型的（epoch？），不考虑整个的训练集，而是每次只关注训练集中的一些小的子集（batch？）。

4. 线性代数有一种计算代价函数𝐽最小值的数值解法，不需要梯度下降这种迭代算法，它可以在不需要多步梯度下降的情况下，也能解出代价函数𝐽的最小值，这是另一种称为正规方程(normal equations)的方法。实际上在数据量较大的情况下，梯度下降法比正规方程要更适用一些

 

2.8 接下来的内容

1. 通过线性代数，可以实现和使用更强大的线性回归模型。事实上，线性代数不仅仅在线性回归中应用广泛，它其中的矩阵和向量将有助于帮助我们实现之后更多的机器学习模型，并在计算上更有效率。正是因为这些矩阵和向量提供了一种有效的方式来组织大量的数据，特别是当我们处理巨大的训练集时。
2.