摘要:word2vec是google 2013年提出的,从大规模语料中训练词向量的模型,在许多场景中都有应用,信息提取相似度计算等等。也是从word2vec开始,embedding在各个领域的应用开始流行,所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述,推导,训练,和基于tf.estimator实现的具体细节。 阅读全文
posted @ 2020-08-02 11:41 风雨中的小七 阅读(107) 评论(0) 推荐(0) 编辑
摘要:一直在关注可解释机器学习领域,因为确实在工作中有许多应用 模型检查,特征重要性是否符合预期和AUC一样重要 模型解释,比起虚无缥缈的模型指标,解释模型学到的规律更能说服业务方 样本解释,为什么这些用户会违约,是否有指标能提前预警? 决策归因,有时模型只是提取pattern的方式,最终需要给到归因/决策,例如HTE模型和XAI结合是否也是一种落地方式 阅读全文
posted @ 2020-06-14 22:03 风雨中的小七 阅读(129) 评论(0) 推荐(0) 编辑
摘要:xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息,而FiBiNET则是应用SENET加入了特征权重比NFM,AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM,NFM都有简单了解,不熟悉的可以看下文章最后其他model的博客链接。 阅读全文
posted @ 2020-06-01 08:46 风雨中的小七 阅读(198) 评论(0) 推荐(0) 编辑
摘要:之前总结了PNN,NFM,AFM这类两两向量乘积的方式,这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈,DCN在ResNet上进一步创新,为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 阅读全文
posted @ 2020-05-15 09:25 风雨中的小七 阅读(323) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM另外两个远亲NFM,AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息,总共向量乘积就这几种,这不NFM就带着element-wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的等权求和变成了加权求和。 阅读全文
posted @ 2020-05-01 21:00 风雨中的小七 阅读(331) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM三兄弟FNN/PNN/DeepFM,由远及近,从最初把FM得到的隐向量和权重作为神经网络输入的FNN,到把向量内/外积从预训练直接迁移到神经网络中的PNN,再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM,我们终于来到了2017年。。。 阅读全文
posted @ 2020-04-21 09:31 风雨中的小七 阅读(359) 评论(0) 推荐(1) 编辑
摘要:这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘,Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息,要么是让Wide更好的记忆样本信息 阅读全文
posted @ 2020-04-08 09:47 风雨中的小七 阅读(312) 评论(0) 推荐(0) 编辑
摘要:CTR学习笔记系列的第一篇,总结在深度模型称王之前经典LR,FM, FFM模型,这些经典模型后续也作为组件用于各个深度模型。模型分别用自定义Keras Layer和estimator来实现,哈哈一个是旧爱一个是新欢。特征工程依赖feature_column实现 阅读全文
posted @ 2020-03-16 09:13 风雨中的小七 阅读(467) 评论(1) 推荐(0) 编辑
摘要:CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect。在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning。你碰到过以下低实验渗透低的情况么? 阅读全文
posted @ 2020-03-12 08:45 风雨中的小七 阅读(388) 评论(4) 推荐(0) 编辑
摘要:踩坑内容包含以下 1. feature_column的输入输出类型,用一个数据集给出demo 2. feature_column接estimator 3. feature_column接Keras feature_column 输入输出类型 输入输出类型 feature_column输入可以是原始特 阅读全文
posted @ 2020-03-07 16:57 风雨中的小七 阅读(1358) 评论(0) 推荐(1) 编辑