DeepSeek的线上面试 —— DPO为什么用KL散度，不用交叉熵？ 机器学习中什么时候必须用KL散度，什么时候必须用交叉熵，什么时候二者可互换——（续）

前文地址：

https://www.cnblogs.com/xyz/p/18707896

说下我个人的一些观点。

我认为：

数学意义上的等价并不是机器学习算法中的优先考虑的选项。虽然机器学习或者说AI是和数学领域难以割舍开的，但是机器学习和AI并不是数学，二者并不等价，或者说数学领域的评判标准和机器学习领域的评判标准并不一致。在机器学习领域更多的是要看 work 不 work。虽然二者在数学意义上等价，但是在数学形式上却不同，KL散度的数学形式更适合于两个概率分布之间的差异的体现。