机器学习十讲——第七讲

　　　　机器学习十讲——第七讲最优化

 

 

 

 　　之后以线性回归为例子，举了梯度下降法的实例（人以最快速度到山谷）

 

 

 

 

 

 

　　之后提到了之前学过的随机梯度下降法

 

 

 

 

 

 

　　关于病态条件：

 

 

 

 

 

 

　　现在的观点是有时候局部极小值和最小值相差不多，可以使用。

　　随后介绍了几个特殊的点：

 

 

 

 

 

 

 

 

（ 当参数很大会发生梯度爆炸，很小时会出现悬崖）

 

　　解决方法：

　　动量法：考虑了历史因素，解决了不稳定问题

 

 

 

 

 

 

 

　　第二种方法：

 

 

 

 　　第三种:

 

 

 

　　第四种：（考虑最近的，忽略远的）

 

 

 

　　第五种：

 

 

 

　　 蓝色小球的位置是最小值，其他两个球是局部最小值，Adam方法能找到最小值，而另外两种RMSProp和Nesterov方法不能准确找出最小值。

　　两种优化方式：

 

 

 

 　　二阶方法计算量很大

 

 

 

 　　那么，这么多算法，应该如何选择呢？

 

 

 如果不知道选什么 就用Adam，他的表现一般来说不会太差。

 

最后就是不可缺少的演示实例了……