Learning to Warm Up Cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks阅读笔记

动机

本文是2021年SIGIR上的一篇论文。如今embedding技术在推荐系统中已经取得了巨大成功，但是这种技术对数据要求较高且存在着冷启动问题。对于只有少量交互信息的物品，它们的id embedding成为cold id embedding。cold id embedding有以下两个问题：1.冷id嵌入和深度学习模型存在着一些差距，很难拟合深度学习模型。2.噪声严重影响了冷id嵌入。目前大部分模型都难以解决这两个问题，本文作者提出了一个包含两个元网络的框架MWUF来解决上述问题。

方法

问题定义

物品embedding为\(v_i\)，物品特征embedding为，用户embedding为\(u_j\)，用户特征embedding为，\(\theta\)为模型f(·)的参数。我们可以根据以下函数计算用户j对物品i的评分。

损失函数采用对数损失函数。

Meta Scaling Network

之前有研究表明冷id嵌入和暖id嵌入在特征空间中的表示是不同的，但是它们之间存在着一定的关系，因此作者提出了元缩放网络学习冷id嵌入和暖id嵌入之间的关系，将那些交互信息较少的物品的冷id嵌入转为暖id嵌入。
由于冷启动物品交互数量很少，它们的id嵌入是不可靠的，因此我们根据物品的属性嵌入学习。元缩放网络表示为

由物品的冷id嵌入转为暖id嵌入为

缩放函数可以看作是一种特征变换，它将冷的ID嵌入到暖的特征空间中。

Meta Shifting Network

冷启动物品的id嵌入很容易受到噪声影响，即使将其转换为暖id嵌入，其中依旧包含噪声。利用与物品有交互的用户的嵌入可以一定程度上缓解这种噪声，作者在这里使用了取用户均值的方法，即\(\mathcal G(·)\)表示取均值。

元移动网络可看作是将物品id嵌入及其交互用户嵌入结合起来的一种更稳定的表示方式。
最终的物品暖id嵌入表示为

这两个网络可以为每个物品生成不同的缩放参数和移动参数，因此我们称之为元网络。（这种方式属于元学习中生成参数的方式）

整体流程

整体流程需要两步。第一步就是和普通的模型一样，用所有训练数据去训练一个模型，但是这个模型并不能很好处理物品冷启动问题。
第二步是训练两个元网络，具体流程如下，这里新定义物品的embedding layer的初始化用的是第一步中得到物品的embedding的平均值。这里第一步中训练出的模型参数不再改动，已经具有较多交互信息的物品可以直接使用第一阶段的embedding进行预测，第二阶段的训练不会影响它们。

最终目标为