概率论
文本记录深度学习常用的概率论知识。
基础概念
- 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variables）和离散型随机变量（discrete variables）。
- 概率分布函数：函数\(F(x) = P(X \leq x)\)称为随机变量\(X\)的概率分布函数。
- 连续型随机变量的概率密度函数f(t)：\(F(x) = \int_{-\infty}^{x}f(t)dt\)
- 边缘概率
- 条件概率：\(P(AB) = P(A)P(B|A) = P(B)P(A|B)\)，其中\(P(A), P(B) > 0\)
期望、方差、协方差、协方差矩阵
1. 期望
- 离散型随机变量的期望：\(E(X) = \sum_{k=1}^{\infty}x_k p_k\)
- 连续型随机变量的期望：\(E(X) = \sum_{-\infty}^{\infty}xf(x)dx\)。
性质：
- \(E(X) + E(Y) = E(X+Y)\)
- 如果\(X\)和\(Y\)独立，\(E(X)E(Y)=E(XY)\)
2. 方差
刻画了随机变量取值的波动大小：方差越小，越靠近均值；方差越大越远离均值。
\[Var(f(x)) = \Bbb{E}[(f(x) - \Bbb{E}[f(x)])^2]
\]
3. 协方差
刻画了两个随机变量的线性相关性，绝对值大小刻画了相关性大小，0表示不相关；正负表示了正相关和负相关；
\[Cov(f(x), g(y)) = \Bbb{E}[(f(x) - \Bbb{E}[f(x)])(g(y) - \Bbb{E}[g(y)])]
\]
协方差矩阵
常见概率分布
- 伯努利分布
- 多重伯努利分布
- 高斯分布（正态分布）
- 指数分布和拉普拉斯分布
- 狄拉克分布（Dirac Distribution）和经验分布（Empirical Distribution）
- 混合分布和高斯混合模型
常见函数的有用属性
- logistic sigmoid
- softplus function
- 贝叶斯定理
连续随机变量的技术细节
略
- quantum [ˈkwɑːntəm] 量子
- scenario [səˈnærioʊ] 设想，可能发生的情况；剧情梗概
- brittle [ˈbrɪtl] 易碎的；脆弱的
- prone [proʊn] likely to suffer from sth or to do sth bad
