摘要： 1、交叉熵的定义： 在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中，我们很难理解交叉熵的定义。下面举个例子来描述一下： 假设现在有一个样本集中两个概率分布p,q，其中p为真实 阅读全文