2013年7月15日
0-4评价一个语言模型Evaluating Language Models:Perplexity
摘要： 有了一个语言模型，就要判断这个模型的好坏。 现在假设： 我们有一些测试数据，test data.测试数据中有m个句子;s1,s2,s3…,sm 我们可以查看在某个模型下面的概率： 我们也知道，如果计算相乘是非常麻烦的，可以在此基础上，以另一种形式来计算模型的好坏程度。 在相乘的基础上，运用Log，来把乘法转换成加法来计算。 补充一下，在这里的p(Si)其实就等于我们前... 阅读全文
posted @ 2013-07-15 00:11 createMoMo 阅读(4720) 评论(0) 推荐(0) 编辑