kalice

摘要： 信息熵 在之前的博文里，推到了KL散度、熵和极大似然的关系，理解了这个其实信息熵也很好理解。 对于随机变量$X$ 有： \[ P(X=x_i) = p_i \] 因此$X$ 这个随机分布的熵就是： \[ H(X) = -\sum_{i=1}^n p_i \log p_i \] 但我们谈变量的熵的时候 阅读全文

摘要： 哎，没办法，人蠢啊。只能去看视频了。 阅读全文