风雨中的小七

摘要： 这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探 阅读全文

摘要： 前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用文本向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子 阅读全文

摘要： 这一节我们来聊聊不定长的文本向量，这里我们暂不考虑有监督模型，也就是任务相关的句子表征，只看通用文本向量，根据文本长短有叫sentence2vec, paragraph2vec也有叫doc2vec的。这类通用文本embedding的应用场景有很多，比如计算文本相似度用于内容召回, 用于聚类给文章打标 阅读全文

摘要： Fasttext其实包括两个模型，一个是文本分类模型，效果不算顶尖但胜在轻量高效，另一个词向量模型，主要创新在于把单词分解成字符，可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在文本分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding 阅读全文

摘要： word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述，推导，训练，和基于tf.estimator实现的具体细节。 阅读全文

摘要： 一直在关注可解释机器学习领域，因为确实在工作中有许多应用 模型检查，特征重要性是否符合预期和AUC一样重要 模型解释，比起虚无缥缈的模型指标，解释模型学到的规律更能说服业务方 样本解释，为什么这些用户会违约，是否有指标能提前预警？ 决策归因，有时模型只是提取pattern的方式，最终需要给到归因/决策，例如HTE模型和XAI结合是否也是一种落地方式 阅读全文

摘要： xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。 以 阅读全文

摘要： 之前总结了PNN,NFM,AFM这类两两向量乘积的方式，这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈，DCN在ResNet上进一步创新，为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 以下代码针对Dense输入更容易理解模型结构，针对s 阅读全文

摘要： 这一节我们总结FM另外两个远亲NFM，AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息，总共向量乘积就这几种，这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的 阅读全文

摘要： 这一节我们总结FM三兄弟FNN/PNN/DeepFM，由远及近，从最初把FM得到的隐向量和权重作为神经网络输入的FNN，到把向量内/外积从预训练直接迁移到神经网络中的PNN，再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM，我们终于来到了2017年。。。 以下代码针对Dense输 阅读全文