摘要:之前总结了PNN,NFM,AFM这类两两向量乘积的方式,这一节我们换新的思路来看特征交互。DeepCrossing是最早在CTR模型中使用ResNet的前辈,DCN在ResNet上进一步创新,为高阶特征交互提供了新的方法并支持任意阶数的特征交叉。 以下代码针对Dense输入更容易理解模型结构,针对s 阅读全文
posted @ 2020-05-15 09:25 风雨中的小七 阅读(87) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM另外两个远亲NFM,AFM。NFM和AFM都是针对Wide&Deep 中Deep部分的改造。上一章PNN用到了向量内积外积来提取特征交互信息,总共向量乘积就这几种,这不NFM就带着element wise(hadamard) product来了。AFM则是引入了注意力机制把NFM的 阅读全文
posted @ 2020-05-01 21:00 风雨中的小七 阅读(148) 评论(0) 推荐(0) 编辑
摘要:这一节我们总结FM三兄弟FNN/PNN/DeepFM,由远及近,从最初把FM得到的隐向量和权重作为神经网络输入的FNN,到把向量内/外积从预训练直接迁移到神经网络中的PNN,再到参考wide&Deep框架把人工特征交互替换成FM的DeepFM,我们终于来到了2017年。。。 以下代码针对Dense输 阅读全文
posted @ 2020-04-21 09:31 风雨中的小七 阅读(148) 评论(0) 推荐(1) 编辑
摘要:背景 这一篇我们从基础的深度ctr模型谈起。我很喜欢Wide&Deep的框架感觉之后很多改进都可以纳入这个框架中。Wide负责样本中出现的频繁项挖掘,Deep负责样本中未出现的特征泛化。而后续的改进要么用不同的IFC让Deep更有效的提取特征交互信息,要么是让Wide更好的记忆样本信息 以下代码针对 阅读全文
posted @ 2020-04-08 09:47 风雨中的小七 阅读(149) 评论(0) 推荐(0) 编辑
摘要:CTR学习笔记系列的第一篇,总结在深度模型称王之前经典LR,FM, FFM模型,这些经典模型后续也作为组件用于各个深度模型。模型分别用自定义Keras Layer和estimator来实现,哈哈一个是旧爱一个是新欢。特征工程依赖feature_column实现,这里做的比较简单在后面的深度模型再好好 阅读全文
posted @ 2020-03-16 09:13 风雨中的小七 阅读(207) 评论(1) 推荐(0) 编辑
摘要:CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect。在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning。你碰到过以下低实验渗 阅读全文
posted @ 2020-03-12 08:45 风雨中的小七 阅读(170) 评论(0) 推荐(0) 编辑
摘要:踩坑内容包含以下 1. feature_column的输入输出类型,用一个数据集给出demo 2. feature_column接estimator 3. feature_column接Keras feature_column 输入输出类型 输入输出类型 feature_column输入可以是原始特 阅读全文
posted @ 2020-03-07 16:57 风雨中的小七 阅读(569) 评论(0) 推荐(1) 编辑
摘要:Meta Learner和之前介绍的Causal Tree直接估计模型不同,属于间接估计模型的一种。它并不直接对treatment effect进行建模,而是通过对response effect(target)进行建模,用treatment带来的target变化作为HTE的估计。主要方法有3种:T 阅读全文
posted @ 2020-02-24 21:25 风雨中的小七 阅读(332) 评论(0) 推荐(0) 编辑
摘要:Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整。Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果。 Machine 阅读全文
posted @ 2020-02-08 21:15 风雨中的小七 阅读(443) 评论(0) 推荐(0) 编辑
摘要:已知特征$X=x_1$的样本呈现$Y=y_1$的特点,或者$Y=y_1$的样本有$X=x_1$的特征,如何计算干预X对Y的影响 Eg. 看快手视频喜欢评论的用户活跃程度更高,那引导用户去发表评论能让他们更活跃么? 建模特征应该如何选择,以及特征通过那些途径最终影响Y Eg. 个人并不喜欢有啥放啥的建 阅读全文
posted @ 2019-12-07 15:10 风雨中的小七 阅读(350) 评论(0) 推荐(1) 编辑