有温度的Data Science~

摘要：word2vec是google 2013年提出的，从大规模语料中训练词向量的模型，在许多场景中都有应用，信息提取相似度计算等等。也是从word2vec开始，embedding在各个领域的应用开始流行，所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述，推导，训练，和基于tf.estimator实现的具体细节。 阅读全文

摘要：一直在关注可解释机器学习领域，因为确实在工作中有许多应用 模型检查，特征重要性是否符合预期和AUC一样重要 模型解释，比起虚无缥缈的模型指标，解释模型学到的规律更能说服业务方 样本解释，为什么这些用户会违约，是否有指标能提前预警？ 决策归因，有时模型只是提取pattern的方式，最终需要给到归因/决策，例如HTE模型和XAI结合是否也是一种落地方式 阅读全文

摘要：xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。 阅读全文

摘要：之前总结了PNN,NFM,AFM这类两两向量乘积的方式，这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈，DCN在ResNet上进一步创新，为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 阅读全文

摘要：这一节我们总结FM另外两个远亲NFM，AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息，总共向量乘积就这几种，这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的等权求和变成了加权求和。 阅读全文

摘要：这一节我们总结FM三兄弟FNN/PNN/DeepFM，由远及近，从最初把FM得到的隐向量和权重作为神经网络输入的FNN，到把向量内/外积从预训练直接迁移到神经网络中的PNN，再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM，我们终于来到了2017年。。。 阅读全文

摘要：这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘，Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息，要么是让Wide更好的记忆样本信息 阅读全文

摘要：CTR学习笔记系列的第一篇，总结在深度模型称王之前经典LR，FM, FFM模型，这些经典模型后续也作为组件用于各个深度模型。模型分别用自定义Keras Layer和estimator来实现，哈哈一个是旧爱一个是新欢。特征工程依赖feature_column实现 阅读全文

摘要：CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect。在观测数据中的应用需要和Instrument Variable结合来看，这里我们只讨论CACE的框架给随机AB实验提供的一些learning。你碰到过以下低实验渗透低的情况么? 阅读全文

摘要：踩坑内容包含以下 1. feature_column的输入输出类型，用一个数据集给出demo 2. feature_column接estimator 3. feature_column接Keras feature_column 输入输出类型 输入输出类型 feature_column输入可以是原始特 阅读全文