2015年10月28日
语言模型评估
摘要： 如何评估语言模型 (>) Perplexity 一个语言模型表现更好好就是说它在测试集合表现更好，也就是说使得测试数据能有更高产生概率(assign a higher score to test data) 在这个基础上表征了这一特征，perplextiy越低则表示测试数据产生概率越高。 N起归一作用，在这里避免了长度偏见，较长句子会使得概率较小一些。 考虑 I... 阅读全文
posted @ 2015-10-28 15:51 阁子 阅读(1595) 评论(0) 推荐(0) 编辑