01.Regression

00.Machine Learning

机器学习就是让机器找函式的能力。

 

 01.Different types of Functions

机器学习三大任务：

• regression：我们找的函式输出的是数值。
• classification：让机器做选择题，如侦测垃圾邮件
• structured learning：让机器学会创造，产生有结构的东西

02.Case  Study （预测YouTube频道流量）

三个步骤找函式：

1. Function with Unknown Parameters（一个带未知参数的函式）

•  y：准备预测的东西
• x1：这个频道前一天观看的人数
• b，w：未知参数，通过数据资料找出
• feature：已知的东西
• weight：未知参数，与x相乘的数
• bias：未知参数，直接相加的数

2.Define  Loss From Training Data（自己定义一个Loss）

注：Loss它也是一个Function且是自己定义的，可能出现负数,这个Function它的输入,是我们Model裡面的参数，这个Function输出的值代表说,现在如果我们把这一组未知的参数,设定某一个数值的时候,这笔数值好还是不好。

计算方法：根据预估的值和真实的值（label）有多大差距得出。

• MAE（Mean Absolute Error）：y跟ŷ之间,相减的绝对值，e = | y -ŷ | 。
• MSE（Mean Square Error）：y跟ŷ之间，,相减的平方，e = （y - ŷ）²。
• Cross-entropy：用于计算几率分布。

假设b=0.5k，w=1。

 

 

 

 3.Error Surface

 

图形解释：越偏红色系,代表计算出来的Loss越大,就代表这一组w跟b越差,如果越偏蓝色系,就代表Loss越小,就代表这一组w跟b越好

Error Surface：根据不同的参数,然后计算它的Loss,画出来的这个等高线图

4. Optimization（最佳化）

Optimization（最佳化）：找一个w跟b,把未知的参数,找一个数值出来,看代那一个数值进去,可以让我们的大L,让我们的Loss的值最小,那个就是我们要找的w跟b，让loss最小的w跟b,我们就叫做w∗跟 b∗

方法：Gradient  Descent（梯度下降）

1. 随机选取一个初始的点w₀,
2. 计算在该点的微分，也就是切线斜率。
3. 梯度（斜率）越大，把w的值变大。

影响跨步大小的两个因素：

1. 斜率大小
2. 学习速率 η（learnning rate）：是一个hyperparameters（超参数），自己设定的东西。 

什么时候停止？

1. 自己设定一个参数（hyperparameter）
2. 若某一点的微分值为0，导致参数的位置不再更新，会导致local Minimal（局部最小值），找不到global minima（全局最小值），但其实local minima是一个假问题（后面谈到）。

 

 参数推广到两个：

 计算方法：

1. 随机选取两个初始值参数w⁰跟b⁰。
2. 计算机微分。
3. 更新w和b。

04.Linear Model

 根据周期修改模型：