小妍妍说

摘要： 来源： https://www.cnblogs.com/bqtang/p/3693827.html 背景： 零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连 阅读全文

摘要： 恢复内容开始 统计自然语言处理 预备知识 目录 统计自然语言处理 预备知识一、概率论1.1 期望和方差1.2 边缘概率密度二、信息论2.1 信息量2.2 熵2.3 互信息2.4 交叉熵2.5 相对熵（KL距离）2.6 联合熵2.7 条件熵 一、概率论 1.1 期望和方差 期望值是指随机变量所取值的概 阅读全文

摘要： 统计自然语言处理 预备知识 目录 统计自然语言处理 预备知识一、概率论1.1 期望和方差1.2 边缘概率密度二、信息论2.1 信息量2.2 熵2.3 互信息2.4 交叉熵2.5 相对熵（KL距离）2.6 联合熵2.7 条件熵 一、概率论 1.1 期望和方差 期望值是指随机变量所取值的概率平均。 方差 阅读全文