摘要： 熵相关 1 信息量 1.1 简介 信息量（也可以叫信息熵）是表示一个事件所包含信息大小的度量（也可以理解为一个事件从不确定到确定的度量）。 1.2 公式 $$f(x) = -log(x) \tag{1}$$ 1.3 由来 怎样算信息量高？是通过这个信息我们听没听过来衡量，还是告诉我们内容的多少来衡量 阅读全文