【人工智能】回归模型

【人工智能】回归模型

回归是监督学习中的一种问题类型，用于求解从无数个连续数值中选择答案。学习训练和使用回归模型，可使我们能够解决这类问题。

线性回归模型

使用输入输出为线性关系的函数表示模型，且这类模型专门用于解决回归问题。

单变量线性回归模型

\[f(x)=kx+b \]

• 输入特征：\(x\)
• 模型参数：\(k,b\)
• 输出变量：\(y\)

多元线性回归模型

\[f(x_1,x_2,\dots,x_n)=w_1x_1+w_2x_2+\dots+w_nx_n+b=\vec{w}\cdot\vec{x}+b \]

• 输入特征：\(x_1,x_2,\dots,x_n\)
• 模型参数：\(w_1,w_2,\dots,w_n,b\)
• 输出变量：\(y\)

多项式回归模型

多项式回归模型字如其名，他是通过组合多项式的方式增强模型拟合的准确性。这些多项式和多元线性回归模型不同：

1. 首先它们可以是非线性的。
2. 这些多项式通常是利用特征工程生成的，用于完善原特征的参数。

也因为这些特征，通过多项式回归模型，可以实现非线性的映射关系。

多项式回归模型的示例如下（实际使用中，应根据具体情况自由组合）：

\[f(x)=w_1x+w_2\sqrt{x}+w_3x^2+w_3x^3+\dots+b \]

平方误差损失函数

一种适用于回归模型的损失函数。

\[L= \frac{1}{2}(\hat{y}-y)^2 \]

• 利用平方将差值转换为与正确答案距离值，距离越远影响越大。
• 除二是使后续的一些计算公式可以被简化，但去除后该函数也有效。