qinzhuy

摘要： Skip-gram 模型没有隐藏层。 但与CBOW 模型输入上下文词的平均词向量不同，Skip-gram 模型是从目标词ω 的上下文中选择一个词，将其词向量组成上下文的表示。 对整个语料而言， Skip-gram 模型的目标函数为: Skip-gram 和CBOW 实际上是word2vec 两种不同 阅读全文

摘要： NNLM 模型的目标是构建一个语言概率模型，而C&W 则是以生成词向量为目标的模型。在NNLM 模型的求解中，最费时的部分当属隐藏层到输出层的权重计算。由于C&W 模型没有采用语言模型的方式去求解词语上下文的条件概率，而是直接对n 元短语打分，这是一种更为快速获取词向量的方式。C&W 模型的核心机理 阅读全文

摘要： 神经网络语言模型是经典的三层前馈神经网络结构，其中包括三层:输入层、隐藏层和输出层。 为解决词袋模型数据稀疏问题，输入层的输入为低维度的、紧密的词向量，输入层的操作就是将词序列中的每个词向量按顺序拼接， 在输入层得到式( 7.2 )的x 后，将x 输入隐藏层得到h ， 再将h 接人输出层得到最后的输 阅读全文

摘要： 文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。文本向量化是文本表示的一种重要方式。 文本向量化就是将文本表示成一系列能够表达文本语义的向量。无论是中文还是英文，词语都是表达文本处理的最基本单元。 当前阶段，对文本向量化大部分的研究都是通过词向量化实现的。与此 阅读全文