Word2Vec总结

摘要:

  1.算法概述

  2.算法要点与推导

  3.算法特性及优缺点

  4.注意事项

  5.实现和具体例子

  6.适用场合

内容:

  1.算法概述

  Word2Vec是一个可以将语言中的字词转换为向量表达(Vector Respresentations)的模型,Word2vec可以将字词转为连续值的向量表达,并且其中意义相近的词将被映射到向量空间中相近的位置。其主要依赖的假设是Distributional Hypothesis,即在相同语境中出现的词其语义也相近。Word2vec主要分为CBOW(Continuous Bag of Words)和Skip Gram两种模式,其中CBOW是从原始数据推测目标字词;而Skip-Gram是从目标字词推测原始语句,其中CBOW对小型数据比较合适,而Skip-Gram在大型预料中表现得更好。

  2.算法要点与推导

  Word2Vec的CBOW模型是一个二分类模型,用来区分真是的目标词汇和噪声词汇两类,其中噪声词汇是通过负样本采样(Negative Sampling,随机选择k个词汇)方法构造得来。Word2Vec使用Noise-Constrastive Estimation Loss,在tf.nn.nce_loss()方法中有实现。

  3.算法特性及优缺点

  4.注意事项

  5.实现和具体例子

    《TensorFlow实战》实现Word2Vec

  6.适用场合

  

posted @ 2018-04-05 14:21  混沌战神阿瑞斯  阅读(1416)  评论(0编辑  收藏