深度学习基础知识

1、交叉熵：

• 熵的递进：熵(Entropy) -> KL散度 -> 交叉熵
  • 熵：熵被用于描述一个系统中的不确定性，表示一个事件A的自信息量
  • KL散度（kl divergence）：
    • 可以表示两个事件之间的不同
    • 用B的分布来表示A时，额外所需的信息长度：A是锁的密码，用密码B还原A，需要额外的信息
  • 交叉熵（cross-entropy）：
    • 交叉熵就是KL散度的马甲。kl divergence可以看作两个概率分布的距离。
    • 当你用B作为密码本来表示A时所需要的“平均的编码长度”
• 为什么交叉熵可以用作代价
  • 交叉熵可以用于计算“学习到的模型分布”与“真实分布”之间的不同
    • 我们希望在训练数据上学到的分布B和真实数据的分布A越接近越好
    • 可以使用KL散度求两个分布之间的不同呢
    • 由于数据的真实分布A虽然未知，但却是固定的，此时KL散度=交叉熵
    • 因此，交叉熵可以用于计算“学习到的模型分布”与“真实分布”之间的不同
• 牛逼的参考文献：
  • 为什么交叉熵（cross-entropy）可以用于计算代价？

2、Softmax 函数

• softmax用于多分类，sigmod用于二分类