学习记录

7/10 

吴恩达机器学习p1 ~ p3  机器学习应用及定义

吴恩达机器学习p4 ~ p5  监督学习介绍

　　监督学习是指有明确的训练目标，会根据预测值与真实值的差距来评估算法的好坏。监督学习包括回归、分类。

吴恩达机器学习p6 ~ p7  无监督学习介绍

　　无监督学习是指没有明确的训练目标，包括聚类、降维等。

Computer Vision  1.1、1..2

 

7/11

吴恩达机器学习p9 ~ p14  线性回归

　　线性回归是指用一条直线来拟合数据，并根据这条直线去做预测。

　　预测模型：

 

 

　　

　　代价函数：

代价函数与参数w，b的三维坐标关系

 

 代价函数三维坐标与等线图

 

Computer Vision 1.3、2.1、2.2

配置jupyter book环境

 

7/14

吴恩达机器学习p15 ~ p18  梯度下降

所谓梯度下降，就是在一定学习率（步长）的条件下，通过不断更新算法模型中的参数，得到局部最小的代价函数。

具体的公式如下：

 其中，α是学习率，代表了梯度学习中的步长，若步长太小，会导致迭代次数过多；若步长太大，可能得不到正确的结果，甚至发散。与α相乘的项是代价函数对单个参数的偏导，决定了梯度下降的方向，具体公式如下：

 

7/15

吴恩达机器学习p18 ~ p21  线性回归中的梯度下降

在线性回归中，通过不断迭代更新w、b参数，得到局部最小代价函数。在迭代的过程中，w和b要同时更新，最后得到的公式如下：

 

算法实现如下：

计算w和b的偏导数

 

 

对于不同的初始算法模型，经过梯度下降后，最后可能会得到不同的局部最小值

 

两个细节：

1、对于w和b的迭代公式，肯定是往cost函数最小的方向移动w和b，以w为例

 

 

从图中可以看出，无论偏导值为负还是为正，w值都是向cost最小的方向移动。

2、α学习率的值不用变化，w和b的值也能收敛。因为越靠近cost最小的地方，偏导数越小，从而导致乘积项越小，最终w、b参数得以收敛。

7/16

吴恩达机器学习p22 ~ p26

7/18

吴恩达机器学习p27 ~ p30