Transform Cold-Start Users into Warm via Fused Behaviors in Large-Scale Recommendation阅读笔记

动机

本文是2022年SIGIR的一篇论文。在推荐系统中，冷启动用户存在着与现有用户特征分布不同，行为少等问题，这导致推荐系统很难为这些冷启动用户提供优质的服务。目前的一些方法存在着不同的问题，例如MeLU未利用到用户与物品的id特征，MAMO未考虑到交互的顺序信息等。本文作者提出了一种模型来解决上述问题。

方法

Adapting User Embedding

这一步主要是将用户的embedding转换为一种上下文感知的warm状态，抵消特征分布上的差异，使得冷启动用户的embedding更符合他们的偏好。
对于一个用户原始表示\(e_u\)及其加入时间信息的交互序列\([e_{v^{(1)}},...,e_{v^{(L)}}]\)，将这两部分连接起来生成最初的隐藏状态\(H^{(0)}\)，之后利用一个多头自注意力机制



第(l+1)层的计算公式为

在最后一层中，由于我们只想获得转换后的上下文感知用户embedding，因此对多头自注意力模块进行了修改如下

其中\(H^{(l)}_0\)就是用户原始的embedding。

Exploiting Fused User Behaviors

用户冷启动问题的一个关键条件就是用户的行为是有限的，其中正反馈更是稀少的。将正反馈和负反馈行为融合在一起有利于表示用户。
假设\(e^*_u\)是物品v的最优embedding，它忽略了异质性并且编码了顺序信息。我们通过两步来近似得到\(e^*_u\)。首先我们估计了\(\hat e_v\)，它减少了不同类型的交互的异质性的差距。然后我们有残差向量\(r^*_v\)，。

同样给定一个序列\([e_{v^{(1)}},...,e_{v^{(L)}}]\)，我们可以得到排除不同用户反馈异质性的物品embedding

Denoising with Learnable Cold Embedding

对于在训练阶段看不到的冷启动用户，ID嵌入通常是随机初始化的。我们提出了一种可学习的冷嵌入来代替随机ID嵌入，以消除随机性。通过在训练阶段用冷嵌入随机替换ID嵌入，我们可以在没有训练良好的ID嵌入的情况下全局学习用户的共同特征。它有助于在推理阶段调整现有用户和冷启动用户之间ID嵌入的分布，也有助于冷启动用户的嵌入适应。

实验结果

在三个数据集上，无论是对于现有用户还是冷启动用户，本文提出的模型均取得最好效果。

总结

本文主要就是将用户正反馈和负反馈行为融合，然后通过Embedding Adaption模块将用户的embedding转换为上下文感知的warm状态，抵消了特征上的差异，使冷启动用户的embedding更符合他们的偏好。