机器学习之回归

主要内容：

回归

1.线性回归

2.Logistic回归

最优问题：

1.梯度下降

2.牛顿法

3.拟牛顿法

了解参数学习算法和非参数学习算法的区别

高斯分布（正态分布）

 

1.

2.线性回归

考虑2个变量

多变量的情形

3.最小二乘的目标函数

m为样本个数，则一个比较“符合常理”的误差函数为：

符合常理

n最小二乘建立的目标函数，即是在噪声为均值为0的高斯分布下，极大似然估计的目标函数

转化为极大似然函数：

后边的是最小二乘

结论：

实际中不会求逆来解决问题，而是通过梯度下降来解决。

4. 梯度下降算法

 

梯度方向：

随机的速度比批处理得快

最小二乘是求目标函数

梯度下降是求目标函数中的参数

啊