最近突然想通的数学知识

1.条件概率、条件期望的理解

   参加《算法导论》附录部分:

（1）从古典概型的角度来看，条件概率实质上是由于加入了条件，而更改了样本空间，由此导致概率值发生了变化。之前一直囿于条件概率的定义式 \[P(A|B)=\frac{P(AB)}{P(B)}\]

　　先前无法理解 $ P(AB)$ 与 $P(A|B)$ 的区别。无法理解为何求条件概率可以直接把条件带进去求，也即，求 $P(A|B)$ 的值，很多情况下，不是通过 算出 $ P(AB)$来求解的，而是对问题和   $P(A|B)$  的含义的重新理解，重新包装，来求的，即 通常 $P(A|B) = P(C)$ ，$C$ 是另一个事件。另外，在 zhengchaodong 老师的高级算法习题课上，对一道未完全理解，为了印象深刻我故意做错的习题，我似乎有所感悟。 

（2）条件期望的定义及性质，参见 stackoverflow 上的讨论  Expected prediction error - derivation

（3）感觉 statistics 的知识还很欠缺，有待补充。

（4） (2019-01-25) 补充最近的收获， 由阅读 Risk minimization in the presence of label noise 一文时自己推导所想到的。

　　$P(X|Y)$ 是不合法的，当把 $Y$ 放在 $|$ 后时，则 $Y$应该已给定值， 即$P(X|Y=y)$ 通常我们会写$ P(x|y)$ 关于 $x, y$ 的函数，其实

　　它是 $P(X=x|Y=y)$ 的缩写。即使出现了$P(X|Y)$, 我们也要知道是指$P(x|y)$.

   (5）(2020-01-04 补充）机器学习数上很多公式符号用的不太规范，例如西瓜书上 p59 公式 （3.25）

　　$p(y_i|x_i; \bmw,b)$ 这里的 $\bm w,b$ 只是参数，用分号 ; 区别，并不是(分布未知的）随机变量，如此写只是表明是一个记号，$p(y_i|x_i)$ 依赖于参数 $(\bm w, b)$ 的值， 千万不可理解为关于 $\bm w, b$ 的条件概率。 

　　记得似乎 PRML 上哪一章提到过此，表示只是为了方便的一个记号。

2.组合和排列

      参见《算法导论》附录部分:

　　设有$1$, $2$, $\dots$, $n$个数字，问任取 $k$ 个数字有多少中组合？

　　一种 $k$ 个数字的组合对应 $k!$ 个排列，而 $k$ 个数字的排列有 $A_n^k$ 个。所以组合个数一共有  $\frac{A_n^k}{k!}$.  

　　从此角度，便很好理解。

 3. 秩一修正矩阵的求逆公式

\[\left(A+u^Tv\right)^{-1}=A^{-1}+\]

    多年前的看到的一篇博客有介绍推导方法，其中的想法非常美妙，让我惊呆了。但这个问题的解法 似乎 在Boyd 的 Convex Optimization 的附录中有介绍，所以看来不是那么小众。 

 

4.求 $det(I+uv^T)$

（1）用矩阵初等变换的思想

（2）求出上述矩阵的全部特征值