icuic

摘要： 一直区分不清楚熵、交叉熵、KL散度有什么区别和联系。 前几天特意理解了一下，记录下来，以后忘了方便再来复习。 熵（Entropy） 熵是单个概率分布的 “不确定性” 或 “混乱程度” 的度量。 对于离散随机变量X，假定其概率分布为 \(p(x)\)，则它的熵定义为： \[H(p) = -\sum_{ 阅读全文

摘要： 最近像只没头苍蝇一样，没有了目标，做什么都是三心二意。 不能再这样下去了，感觉人生已经失控了。 从今天开始，每两天至少写一篇博客。 就写小智相关的吧，能派上用场的几率稍微大一点。 阅读全文