【机器学习】第三节-回归分析

目录

• 一、线性回归
  • 1.一元线性回归
  • 2.二元线性回归
  • 3.多元线性回归
  • 4.总结
• 二、逻辑回归

一、线性回归

1.一元线性回归

\[f(x)=ax+b \]

均方误差最小化(最小二乘法)
即找到一条直线，使所有样本到直线上的欧式距离之和最小

\[min\sum_{i=1}^{m}(f(x_i)-y_i)^2 =min\sum_{i=1}{m}(y_i-wx_i-b)^2 \]

一元线性回归模型： 只有一个解释变量

\[\begin{equation} \begin{split} Y_i=\beta_0+\beta_1X_i+\mu_i,i=1,2,...,n \\ 其中，Y为被解释变量，X为解释变量，\beta_0和\beta_i为待估参数，\mu为随机干扰项 \end{split} \end{equation} \]

解释变量:

2.二元线性回归

\[\begin{equation} \begin{split} y=w_1x_1+w_2x_2+b \\ \downarrow 转换向量式\\ y=w^Tx+b \end{split} \end{equation} \]

3.多元线性回归

两个或两个以上的自变量

4.总结

二、逻辑回归