熵与EM算法

1、熵是信息量的期望

公式：

2、联合熵：VENN图

      条件熵：

3、正负样本不均衡处理：

4、数据与特征处理