2015年11月9日
Faster-rnnlm代码分析2 - HSTree的构造
摘要： 也就是构造一棵Huffman Tree，输入是按照词汇频次由高到低排序的 采用层次SoftMax的做法，是为了使得训练和预测时候的softmax输出加速，原有multinomal softmax，是和 训练词汇量|V|成正比的，而现在由于二叉树的特性，变成了log(|V|),也就是平均每个预测只做log(|V|）次 的binary的softmax。当然还有另外一种不采用HSTree的方法也... 阅读全文
posted @ 2015-11-09 16:09 阁子 阅读(1015) 评论(0) 推荐(0) 编辑