信息熵 条件熵 信息增益

一、信息熵

$\begin{equation} H(Y) = \sum_{i=1}^n y_i \log y_i \end{equation}$

 单纯的Y的信息混乱程度

二、条件熵

$\begin{equation}
\begin{aligned}
H(Y|X) & = \sum_{i=1}^n P(X=x_i) H(Y|X=x_i) \\
& = - \sum_{i=1}^n P(X=x_i) \sum_{j=1}^n P(Y|X=x_i) \log P(Y|X=x_i) \\
& = - \sum_{i=1}^n \sum_{j=1}^n P(Y, X=x_i) \log P(Y|X=x_i)
\end{aligned}
\end{equation}$

在X的条件下，Y的信息混乱程度 

三、信息增益

$\begin{equation} Gain(Y,X) = H(Y) - H(Y|X) \end{equation}$

「用另一个变量X对原变量Y分类后，原变量Y的不确定性减小(即熵值减小)。熵就是不确定性，不确定程度减少多少其实就是信息增益」

这就是信息增益Gain(Y,X)的由来。