Fork me on GitHub
2019年5月22日
从香农熵到手推KL散度
摘要： 信息论与信息熵是 AI 或机器学习中非常重要的概念，我们经常需要使用它的关键思想来描述概率分布或者量化概率分布之间的相似性。在本文中，我们从最基本的自信息和信息熵到交叉熵讨论了信息论的基础，再由最大似然估计推导出 KL 散度而加强我们对量化分布间相似性的理解。最后我们简要讨论了信息熵在机器学习中的应 阅读全文
posted @ 2019-05-22 10:23 stardsd 阅读(1210) 评论(0) 推荐(0) 编辑