2022年4月13日
熵、KL散度（相对熵）、交叉熵
摘要： #熵定义 \(s(x) = - \sum_iP(x_i)log_bP(x_i)\) 熵的定义表明了一个事件所含有的信息量，上式中$x_i$表示一个事件，$P(x_i)$表示该事件发生的概率。由定义可知，如果某事件发生概率为1，则它的熵为0。 独立事件的信息量可叠加。 由于事件发生的概率在[0,1]之 阅读全文
posted @ 2022-04-13 19:16 肖肖凯 阅读(501) 评论(0) 推荐(0)