摘要: 前一章Doc2Vec里提到,其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息,并没有真正考虑语序以及上下文语义,n-gram只能在局部解决这一问题,那么还有别的解决方案么?依旧是通用文本向量,skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子向量 阅读全文
posted @ 2020-11-20 21:46 风雨中的小七 阅读(88) 评论(0) 推荐(0) 编辑
摘要:这一节我们来聊聊不定长的文本向量,这里我们暂不考虑有监督模型,只看通用文本向量。这类通用文本embedding的应用场景有很多,比如计算文本相似度用于内容召回, 用于聚类给文章打标等等。前两章我们讨论了词向量模型word2vec和Fasttext,那最简单的一种得到文本向量的方法,就是直接用词向量做pooling来得到文本向量。但这种方法的最大的问题就是向量只包含词共现信息,忽略了词序信息和文本主题信息。于是在word2vec发表1年后还是Mikolov大大,给出了文本向量的另一种解决方案PV-DM/PV-DBOW。 阅读全文
posted @ 2020-10-06 14:25 风雨中的小七 阅读(134) 评论(0) 推荐(0) 编辑
摘要:Fasttext其实包括两个模型,一个是文本分类模型,效果不算顶尖但胜在轻量高效,另一个词向量模型,主要创新在于把单词分解成字符,可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在文本分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding 阅读全文
posted @ 2020-09-05 14:22 风雨中的小七 阅读(241) 评论(0) 推荐(0) 编辑
摘要:word2vec是google 2013年提出的,从大规模语料中训练词向量的模型,在许多场景中都有应用,信息提取相似度计算等等。也是从word2vec开始,embedding在各个领域的应用开始流行,所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述,推导,训练,和基于tf.estimator实现的具体细节。 阅读全文
posted @ 2020-08-02 11:41 风雨中的小七 阅读(370) 评论(0) 推荐(0) 编辑
摘要:一直在关注可解释机器学习领域,因为确实在工作中有许多应用 模型检查,特征重要性是否符合预期和AUC一样重要 模型解释,比起虚无缥缈的模型指标,解释模型学到的规律更能说服业务方 样本解释,为什么这些用户会违约,是否有指标能提前预警? 决策归因,有时模型只是提取pattern的方式,最终需要给到归因/决策,例如HTE模型和XAI结合是否也是一种落地方式 阅读全文
posted @ 2020-06-14 22:03 风雨中的小七 阅读(298) 评论(0) 推荐(0) 编辑
摘要:xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息,而FiBiNET则是应用SENET加入了特征权重比NFM,AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM,NFM都有简单了解,不熟悉的可以看下文章最后其他model的博客链接。 阅读全文
posted @ 2020-06-01 08:46 风雨中的小七 阅读(502) 评论(0) 推荐(0) 编辑
摘要:之前总结了PNN,NFM,AFM这类两两向量乘积的方式,这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈,DCN在ResNet上进一步创新,为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 阅读全文
posted @ 2020-05-15 09:25 风雨中的小七 阅读(687) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM另外两个远亲NFM,AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息,总共向量乘积就这几种,这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的等权求和变成了加权求和。 阅读全文
posted @ 2020-05-01 21:00 风雨中的小七 阅读(589) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM三兄弟FNN/PNN/DeepFM,由远及近,从最初把FM得到的隐向量和权重作为神经网络输入的FNN,到把向量内/外积从预训练直接迁移到神经网络中的PNN,再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM,我们终于来到了2017年。。。 阅读全文
posted @ 2020-04-21 09:31 风雨中的小七 阅读(649) 评论(0) 推荐(1) 编辑
摘要:这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘,Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息,要么是让Wide更好的记忆样本信息 阅读全文
posted @ 2020-04-08 09:47 风雨中的小七 阅读(535) 评论(0) 推荐(0) 编辑