线性回归

线性回归

机器学习类别：监督学习

数据集特点：label是一般是连续数值

模型

模型：\(y = f(x)=b + \sum w_ix_i\)

• \(y\): 变量的输出
• \(x_i\)：变量第\(i\)维的特征
• \(w_i\)：第\(i\)维特征的权重

损失函数

损失函数: \(L(f)=\sum_{n=1}^N(y^n - f(x^n))^2\)

• \(y^n\): 第\(n\)个数据的标签(实际值)
• \(N\) : 训练数据的数量
• \(f(x^n)\):利用当前参数下的模型计算得到第\(n\)个数据的输出

最优模型

\(f* = arg\ minL(f)\)

\[w*, b* = arg \ min L(w,b) \]

即是要找到参数\(w\)和\(b\)使损失函数的值最小，这样就找到了最好的模型。

方法

最小二乘法

梯度下降法