机器学习基础-线性回归，逻辑回归，SVM

回归

给定数据，回归就是用一个方程尽可能地拟合数据点的分布;

线性回归

假设数据中 \(y\) 与 \(x\) 呈线性关系;
给定，线性回归就是要找一条线/面，并且让这条直线尽可能地拟合数据点的分布;

二元线性回归：$ \hat{y}=ax_1+bx_2+c $ 去拟合数据
解法：最小二乘；$ loss= \sum{(y_i-\hat{y_i})^2}$

逻辑回归

现在有个二分类任务；且线性可分；
如何用线性回归去解决分类问题？ 用 sigmoid 函数！

\[P(y=1|x)= sigmoid(ax_1+bx_2+c) \\ sigmoid(x)=\frac{1}{1+e^{-x}} \]

损失函数：交叉熵

\[loss=-\sum{y_ilogP(y=1|x)+(1-y_i)logP(y=0|x)} \]

当决策面非线性：可以用非线性的函数替换 （\(x^2, x^3, x_1*x_2\))

当任务是多分类：可以用多个逻辑回归；每个模型负责分类一个类别和其他类别

SVM