摘要： 信息论（Information Theory）是概率论与数理统计的一个分枝。用于信息处理、信息熵、通信系统、数据传输、率失真理论、密码学、信噪比、数据压缩和相关课题。本文主要罗列一些基于熵的概念及其意义，注意本文罗列的所有 $\log$ 都是以 2 为底的。 信息熵 在物理界中熵是描述事物无序性的参 阅读全文