摘要: 熵是一个很常见的名词,在物理上有重要的评估意义,自然语言处理的预备知识中,熵作为信息论的基本和重点知识,在这里我来记录一下学习的总结,并以此与大家分享。 信息论基本知识 1、熵 2、联和熵与条件熵 3、互信息 4、交叉熵与相对熵 5、困惑度 6、总结 1、熵 熵也被称为自信息,描述一个随机变量的不确 阅读全文
posted @ 2020-07-29 23:18 Charzueus 阅读(1047) 评论(0) 推荐(0) 编辑