摘要： 条件熵： H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，H(Y|X)定义为： 举个例子： 有一堆西瓜，已知这堆西瓜的色泽，以及每种色泽对应好瓜和坏瓜的个数，如下所示，设X表示色泽，Y表示好瓜或者坏瓜。 则： 这个例子就是计算条件熵的一个过程，现在证明条件熵公式： 有很多书上的条件熵 阅读全文

摘要： 原文地址：https://www.cnblogs.com/kyrieng/p/8694705.html 1、信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shann 阅读全文