《数学之美》 第六章 信息的度量和作用
《数学之美》 第六章 信息的度量和作用
- 信息量等于不确定性的多少
- 香农定理中，用比特bit这个概念来度量信息量。一个比特是一位二进制数，计算机中一个字节是8比特
- 信息熵，一般用符号H表示 $$H(X)=-\sum_{x\in{X}}P(x)logP(x)$$,变量的不确定性越大，熵就越大
- 一个事物内部会存在着随机性，也就是不确定性，假定为U，从外部消除这个不确定性唯一的办法是引入信息I。而需要引入的信息量取决于这个不确定性的大小，即I>U才行
- 几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程
- 合理的利用信息，而不是玩弄什么公式和机器学习算法，是做好搜索的关键
- 条件熵：假定X和Y是两个随机变量，X是我们需要了解的。我们现在知道了X的随机分布P(X)，还知道了Y的一些情况，包括它和X一起出现的概率，以及在Y取不同值的前提下X的概率分布。定义在Y的条件下的X的条件熵为：$$H(X|Y)=-\sum_{x\in{X},y\in{Y}}P(x,y)logP(x|y)$$
补充 互信息：作为两个随机事件“相关性”的量化度量，就是在了解了期中一个Y的前提下，对消除另一个X不确定性所提供的信息量 相对熵是用来衡量两个取值为正数的函数的相似性，关于相对熵的3点结论： 1. 对于两个完全相同的函数，它们的相对熵等于0 2. 相对熵越大，两个函数差异越大；反之相对熵越小，两个函数差异越小 3. 对于概率分布或者概率密度函数，如果取值均大于0，相对熵可以度量两个随机分布的差异性
关于教育的几个观点 1. 小学生和中学生其实没有必要花那么多时间读书，他们的社会经验、生活能力以及在那时树立起的志向将帮助他们一生 2. 中学阶段花很多时间比同伴多读的课程，在大学以后用非常短的时间就可以读完，因为在大学阶段，人的理解能力要强得多 3. 学习和教育是一个人一辈子的过程，很多中学成绩好的亚裔学生进入名校后表现不如那些因为兴趣读书的美国同伴 4. 书本的内容可以早学也可以晚学，但是错过了成长阶段却是无法弥补的
