摘要： https://www.zhihu.com/question/41252833 总结下:信息熵衡量了系统的不确定性. 信息熵可以视为:在已知真实分布的情况下,我们可以找到一个最优策略,以最小代价去消除系统的不确定性.这个最小代价就是信息熵. 交叉熵:在给定的真实分布下,使用某种策略,去消除系统的不确 阅读全文