2025年10月18日
大模型损失函数（二）：KL散度（Kullback-Leibler divergence）
摘要： 想象两个世界，它们有两个不同的概率分布。其中一个概率分布 p 描述了事物的真实模式，也就是每个事件实际发生的频率。另一个概率分布 q 是你的信念或是模型认为的，这些相同事件的概率分布情况。 Kullback-Leibler 散度（KL 散度）衡量的是，如果你生活在世界 p 中，但仍然相信 q，你会经 阅读全文
posted @ 2025-10-18 20:46 CathyBryant 阅读(210) 评论(0) 推荐(0)