深度学习在推荐系统的应用(四)

MMoE模型(Multi-gate Mixture-of-Experts)


FGCNN模型(Feature Generation by Convolutional Neural Network)

  • 模型原始论文
    Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction

  • 模型架构
    FGCNN1
    FGCNN2

  • 模型原理
    1.分组嵌入:原始特征既要作为后续模型的输入,又要作为FGCNN模块的输入,所以原始特征的embedding向量和FGCNN的embedding向量分开训练,以避免梯度耦合的问题。
    2.卷积层和池化层
    3.重组层:将池化后的Feature Maps(图2中Si)展平成一个向量,然后使用单层的神经网络进行特征组合,输出维度R^i受超参数控制
    4.拼接层:将重组后生成的特征拼接上原始的特征作为新的输入

  • 模型特点

    • 使用重组层进行特征生成缓解了CCPM中CNN无法有效捕获全局组合特征的问题
    • FGCNN作为一种特征生成方法,可以和任意模型进行组合
  • 模型案例
    DeepCTR/deepctr/models/fgcnn.py
    CCPM&FGCNN:使用CNN进行特征生成的CTR预测模型

posted @ 2019-05-08 08:08  混沌战神阿瑞斯  阅读(1752)  评论(0编辑  收藏