摘要：重点： ①有的模型只能进行instance级别的representation，本文是任意层级 ②选取positive pair 的原则是：模型根据不同上下文对于同一个时间戳的representation应当一致。 ③随机剪裁层保证了模型不会只学到绝对位置信息而忽视了上下文信息。 疑问 ①本模型在ET 阅读全文

摘要：词向量 为了数字化的表示词汇表里的一个词，我们很自然的就能想到独热编码的方式。然而这样做不仅会导致维度过大，而且会造成不同词的词向量之间的关系无法通过向量表示出来。所以需要用一种维度更低的向量来表示词语：词向量。词向量是一个维度远远小于词汇表大小的向量，向量里的每个元素都是浮点数。 skip-gra 阅读全文