摘要: 实验思路: 对test中的每个句子,分别计算1文元法和2文元法,加入平滑,计算困惑度 1文元法——统计当前词在训练预料的频率,一个句子的概率为每个词的概率✖️起来,测试集的概率为句子✖️起来 所谓平滑: 原因,训练集里没有测试集的词 做法,就是训练集变成(训练集+测试集(去重之后),然后再正常去做 阅读全文
posted @ 2021-03-25 18:55 WeiAR 阅读(223) 评论(0) 推荐(0) 编辑