Fasttext原理
摘要:fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量,特征向量通过线性变换映射到中间层,中间层再映射到标签。fastText 在预测标签时使用了非线性激活函数,但在中间层不使用非线性激活函数。fastText 模型架构和 Wor
阅读全文
文本分类TextCNN
摘要:参考来源:https://blog.csdn.net/u012762419/article/details/79561441 TextCNN结构 TextCNN的结构比较简单,输入数据首先通过一个embedding layer,得到输入语句的embedding表示,然后通过一个convolution
阅读全文
BiLstm原理
摘要:Lstm这里就不说了,直接说Bilstm。 前向的LSTM与后向的LSTM结合成BiLSTM。比如,我们对“我爱中国”这句话进行编码,模型如图所示。 前向的依次输入“我”,“爱”,“中国”得到三个向量{, , }。后向的依次输入“中国”,“爱”,“我”得到三个向量{, , }。最后将前向和后向的隐向
阅读全文
Word2Vec实现原理(Hierarchical Softmax)
摘要:由于word2vec有两种改进方法,一种是基于Hierarchical Softmax的,另一种是基于Negative Sampling的。本文关注于基于Hierarchical Softmax的改进方法,在下一篇讨论基于Negative Sampling的改进方法。 1. 基于Hierarchic
阅读全文
TextRank算法
摘要:TextRank是一种用来做关键词提取的算法,也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的,所以首先简要介绍下PageRank算法。 (1)PageRank PageRank设计之初是用于Google的网页排名的,以该公司创办人拉里·佩奇(Larry Page)之姓来命
阅读全文