2018年5月12日

摘要： 一、微调 可以通过自己的数据，对预训练的词向量进行fine-tuning，可能会获得较大的提高 二、多通道 类似图像有RGB3通道，可以将word2vec、Glove等作为不同的通道，也可以将fine-tune过的词向量加入作为新的通道 阅读全文

摘要： 包括清华大学提出的基于汉字的模型CWE，和阿里提出的基于汉字偏旁的模型cw2vec，在文本分类和实体识别上都有一定提升 阅读全文

摘要： 一、模型输入输出 输入是2组词向量，中心词向量W和上下文词向量W波浪线，输出是Xij的对数值 二、模型设计思想 1.W和W波浪线实际上应该是平等的，因为1个词在某些样本中是中心词，而在别的样本中是上下文词，都是同一个词 2.i,j,k3个词的词向量，应该能决定这个ratio，因为ratio是有意义的 阅读全文

摘要： 一、共现矩阵 矩阵的行和列都是词典中的所有词，Xij的定义为，在所有词i的上下文中，Xj出现的次数。因此Xi定义为，所有的Xij之和，也就是词i出现的上下文中的词数总和，基本和词i的出现次数成正比。 二、概率 Pij定义为Xij/Xi，即词j在词i的上下文中出现的次数占词i总上下文次数的比值。 三、 阅读全文

摘要： 一、模型 随机负采样方法，是后来对word2vec输出层做的一种改进，舍弃复杂的层次分类和huffman树 在已知词w上下文的情况下，对应的输出正样本就是w，负样本就是剩下的所有词，非常多，所以我们用某种方法，采样很小的部分，集合为NEG（w）。每个词u都有自己的辅助参数θ 我们希望最大化的函数为， 阅读全文

摘要： 一、输出层结构 注意到，huffman树的每一层，都有参数和激活函数sigmoid存在，实际上是一个神经网络。影响该节点的二分类走向。这和一般的多分类问题中，各种分类是同处于平等的最后一层，是不同的。 二、模型推导 我们重点关注输出层huffman树过程的模型推导。对于每个走到huffman树根节点 阅读全文