2.机器学习相关数学基础

1）.学习笔记：

概率公式：

 

贝叶斯公式详解：

 

概率论常见分布形式： 

两点分布：

 

 二项分布：

 

 

 

 均匀分布：

 

 指数分布：

 

 正态分布：

 

 各项分布的总结：

 

 事件的独立性：

 

 数学期望：

方差：

 

协方差

 

方阵的定义

 

 

 方阵行列式：

 

 

 

 代数余子式：

 

 伴随矩阵：

 2）总结

梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

梯度下降：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

贝叶斯定理：贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。