英语，汉语，信息熵及哈夫曼编码

英语，汉语，信息熵及哈夫曼编码
1.如果一篇英文文章翻译成中文，那么通常中文的字数更少。也就是说中文可以用更少的字数（英文的单词）表达更多的意思。
2. 熵原来是热力学里面的概念，用于表示系统内的混乱程度，熵越大，表示系统越混乱。后来香浓引入到信息论中，表示每条消息中包含的信息的平均量。信息熵越大，表示包含的信息的平均量越大，这和热力学里面的熵刚好相反。
3.霍夫曼编码:
3.1 统计每个字出现的频率
3.2 保证每个字的编码没有二义性：先把每个字排序，然后从底向上构建二叉树。
3.3 从上到下列出每个叶子节点的编码，就是每个字的编码。（左节点0，右节点1）