深度学习推荐系统 第三章

AutoRec

autoEncoder:

loss function:

神经元：

线性函数过一个激活函数（Sigmoid、ReLU、tanh）
反向传播链式法则：

基于物品的AutoEncoder：I-AutoRec，基于用户的AutoEncoder：U-AutoRec

Deep Crossing

Embedding 层将稀疏的类别特征转为稠密的Embedding向量
Stacking层连接
Multiple Residual Units 利用ResNet将特征向量各个维度交叉组合
Scoring 用逻辑回归或softmax预测

NeuralCF

把原来的内积操作用多层神经网络来代替

softmax

cross entropy

对交叉熵和softmax理解以及如何求导
https://zhuanlan.zhihu.com/p/27223959
https://zhuanlan.zhihu.com/p/45384116

PNN

内积操作：

外积操作：

Wide&Deep

wide：记忆能力
deep：泛化能力

Deep&Cross

把wide层改为cross

FM

FNN

使用FM参数初始化Embedding权重

DeepFM

用FM替换Wide部分

NFM

特征交叉的函数让neural network自动学出来
可以理解为Deep加入了特征交叉池化层

AFM

加入了attention

DIN

DIEN

兴趣进化网络：
行为序列层：把原始id类行为序列转为Embedding行为序列
兴趣抽取层：模拟用户兴趣迁移过程，抽取用户兴趣 GRU（重置门：先前的隐藏状态是否被忽略；更新门：当前隐藏状态单元是否被新的隐藏状态单元更新）
兴趣进化层；在兴趣抽取层加入attention （AUGRU：更新门要引入attention得分）

强化学习

行动-反馈-状态更新


模型主更新操作：利用历史数据重新训练
模型微调：竞争梯度下降算法：