信息熵相关

1.信息熵公式： H(X) = -ΣP(x) * log P(x),  引入已知的信息可以消除不确定性，引入的信息越足（条件越强烈），熵越小，不确定性越小。

2.条件熵：假设有两个随机变量X和Y，H(X)是确定的，假设Y的部分信息已知，包括X和Y同时出现的概率

定义X在Y条件下的条件上 可以写成H(X|Y) = - ΣP(x,y) * log P(x|y), H(x) >= H（X|Y），当X与Y相互独立的情况下，等号成立。

3,互信息：衡量两个事件的相关性

 

 简单写就是I(X;Y) = H(X) -H（X|Y）,本质是一样的。