无所不能的Embedding- - 风雨中的小七

无所不能的Embedding7 - 探索通用文本表达[FastSent/InferSent/GenSen/USE]

摘要：

这一章我们来聊聊通用文本框架，直接使用它们的场景已经不多，但你能在各个前沿方法中看到它们的影子。本章包括：为啥需要通用文本表征，为什么部分监督模型效果不好，哪些模型结构和训练任务得到的表征更加通用阅读全文

posted @ 2021-02-24 08:46 风雨中的小七阅读(933) 评论(0) 推荐(0)

无所不能的Embedding6 - 跨入Transformer时代～模型详解&代码实现

摘要：

跨入transformer时代，看看抛开CNN和RNN，如何只基于attention对不定长的序列信息进行提取。这里选取WMT的英翻中任务，我们来一边聊模型insight一边看代码实现阅读全文

posted @ 2021-02-08 08:15 风雨中的小七阅读(2243) 评论(0) 推荐(0)

无所不能的Embedding5 - skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]

摘要：

这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探阅读全文

posted @ 2020-12-07 08:32 风雨中的小七阅读(799) 评论(0) 推荐(0)

无所不能的Embedding4 - skip-thought & tf-Seq2Seq源码解析

摘要：

前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用文本向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子阅读全文

posted @ 2020-11-20 21:46 风雨中的小七阅读(1171) 评论(0) 推荐(0)

无所不能的Embedding3 - word2vec->Doc2vec[PV-DM/PV-DBOW]

摘要：

这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章打标阅读全文

posted @ 2020-10-06 14:25 风雨中的小七阅读(2128) 评论(2) 推荐(1)

无所不能的Embedding2 - 词向量三巨头之FastText详解

摘要：

Fasttext其实包括两个模型，一个是文本分类模型，效果不算顶尖但胜在轻量高效，另一个词向量模型，主要创新在于把单词分解成字符，可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在文本分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding 阅读全文

posted @ 2020-09-05 14:22 风雨中的小七阅读(3544) 评论(0) 推荐(0)

无所不能的Embedding1 - 词向量三巨头之Word2vec模型详解&代码实现

摘要：

word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述，推导，训练，和基于tf.estimator实现的具体细节。阅读全文

posted @ 2020-08-02 11:41 风雨中的小七阅读(3884) 评论(0) 推荐(0)

风雨中的小七

合集-无所不能的Embedding