DeepFM

1. DeepFM算法

  结合FM算法和DNN算法,同时提取低阶特征和高阶特征,然后组合。FM算法负责对一阶特征及由一阶特征两两组合成的二阶特征进行特征提取;DNN算法负责对由输入的一阶特征进行全连接等操作形成的高阶特征进行特征提取。

2. DeepFM优势

  端到端模型,无需特征工程。

  结合了广度和深度模型的优点,联合训练FM和DNN模型,共享底层参数,同时学习低阶特征组合和高阶特征组合。

  DeepFM共享Embedding Vector,训练更加高效。

3. DeepFM表达式

总体:

FM:

DNN:

  前馈过程:

其中是是层数,是模型的权重,是层的偏置,是激活函数。

  DNN预测模型表达式为:

  

其中为隐藏层层数。

4. 模型结构

  DeepFM结构图

  FM结构图

  DNN结构图

  稀疏映射为稠密向量图

其中Embedding矩阵的大小为特征数量*隐向量维度,通过特征的Index选择特征。

 

Time : 2019-10-14 10:44:06

posted @ 2019-10-14 10:32  LuckPsyduck  阅读(...)  评论(... 编辑 收藏