LLMRec论文阅读笔记

LLMRec论文阅读笔记

Abstract

​ 长期以来，数据稀疏性的问题一直是推荐系统中的一个挑战，以前的研究都试图通过合并侧边信息来解决这个问题。然而，这种方法经常会引入副作用，如噪声、可用性问题和低数据质量，这反过来会阻碍用户偏好的准确建模，并对推荐性能产生不利影响。鉴于大型语言模型（LLMs）的最新进展，它具有广泛的知识库和强大的推理能力，我们提出了一个称为LLMRec的新框架，该框架通过采用三种简单而有效的基于LLM的图增强策略来增强推荐系统。

​ 我们的方法利用在线平台中的丰富内容，以三种方式增强交互图： (i)加强用户-项目交互片段，（ii）增强对项目节点属性的理解，（iii）从自然语言的角度直观地进行用户节点分析。通过这些策略，我们解决了稀疏隐式反馈和低质量边信息带来的挑战。此外，为了保证增强的质量，我们开发了一种去噪数据改进机制，其中包括噪声隐式反馈剪枝和基于MAE的特征增强技术，有助于细化增强数据并提高其可靠性。此外，我们提供了理论分析来支持LLMRec的有效性，并阐明了我们的方法在促进模型优化方面的好处。

Introduction

​ 推荐系统通过向在线用户提供相关内容，在减轻信息过载方面发挥了关键作用。为了实现这一点，一个有效的推荐系统需要对用户偏好有一个精确的理解，这不仅局限于分析历史交互模式，还扩展到合并与用户和项目相关的丰富的边信息。

​ 在现代推荐系统中，可用的侧信息具有异构性，包括项目属性、用户生成的内容，以及包含文本和视觉方面的多模式特性。这种不同的内容提供了不同的方式来描述用户的偏好。通过利用这些边信息，模型可以获得信息表示来个性化建议。然而，尽管取得了重大进展，这些方法往往面临与数据稀缺和处理侧信息相关的挑战。

​ 然后介绍了现有的方法存在的问题，分别是稀疏的隐式反馈信号和侧信息的数据质量问题，侧信息的数据质量问题包括：数据噪声，数据异质性和数据不完整性。这些就不再详细展开了。

​ 这项工作努力通过明确增加潜在的用户-项目交互边缘以及增强用户/项目节点侧信息（如语言、类型）来克服这些挑战。受大型语言模型（LLM）令人印象深刻的自然语言理解能力的启发，我们利用LLM来增强交互图。首先，LLMRec支持从基于id的推荐框架到基于模式的范式的转变。它利用大型语言模型（LLM）从自然语言的角度来预测用户-项目之间的交互。与以前仅依赖id的方法不同，LLMRec认识到，在数据集[18]中，有价值的项目相关细节经常被忽视。与间接ID嵌入相比，自然语言表示提供了更直观的用户偏好反映。.

​ 通过结合LLM，LLMRec捕获了自然语言的丰富性和背景，提高了建议的准确性和有效性。其次，为了进一步阐述，通过利用LLM的广泛知识，增强了低质量和不完整的侧信息，这带来了两个优势：i)LLM在大量的现实世界知识上进行训练，允许他们理解用户偏好并提供有价值的完成信息，即使对隐私受限的用户档案也是如此。ii)LLM的综合词库将嵌入统一在单个向量空间中，弥合了异构特征之间的差距，促进了编码器的计算。这种集成防止了特征在不同的向量空间上的分散，并提供了更准确的结果。

​ 使LLM作为推荐系统的有效数据增强器带来了几个需要解决的技术挑战：

• C1：如何通过显式地增强隐式反馈信号来推理用户-项目之间的交互模式？
• C2：如何确保LLM增强内容的可靠性，以避免引入可能影响结果的噪声？

​ 基于LLM的增强技术通过解决稀疏性和改进不完整的侧边信息来增强推荐者的潜力是不可否认的。然而，有效地实施这种方法需要解决上述挑战。因此，我们设计了一个新的框架LLMRec来解决这些挑战。

解决方案：我们的目标是解决来自用户-项目交互的稀疏隐式反馈信号的问题，同时提高边信息的质量。我们提出的LLMRec包含了三种基于LLM的策略来增强交互图： i)加强用户-项目交互边缘，ii)增强项目属性建模，以及iii)进行用户分析。为了解决“i)”的C1问题，我们设计了一种基于LLM的贝叶斯个性化排序（BPR）采样算法。该算法从自然语言的角度出发，根据文本内容揭示了用户可能喜欢或不喜欢的项目。然后，在BPR训练过程中，这些项目被用作正样本和负样本。

​ 需要注意的是，LLM无法执行所有项目排序，因此所选择的项目是从基本推荐者为每个用户提供的候选项目池中选择的。在节点属性生成过程中（对应于“ii）”和“iii)”)，我们使用现有的文本和交互历史记录为每个用户/项创建额外的属性。然而，重要的是要承认，增广边和节点特征都可以包含噪声。为了解决C2问题，我们的去噪数据改进机制通过集成噪声边缘剪枝和特征MAE 来发挥作用，以确保增强的质量。

​ 最后，本文的贡献如下：

• LLMRec是一个开创性的工作，即使用LLM来增强推荐中的图：i)用户-项目交互边，ii)项目节点属性，iii)用户节点配置文件。
• 所提出的LLMRec通过使LLM能够明确地推理用户-项目交互模式，解决了隐式反馈信号的稀缺性问题。此外，它还通过用户/项目属性生成和基于噪声反馈剪枝和基于mae的特征增强的去噪增强增强机制，解决了低质量的边信息问题

Method

​ 为了进行基于LLM的增强，在本节中，我们将解决以下问题： Q1：如何使LLM能够预测u-i交互式边缘？Q2：如何使LLM能够生成有价值的内容？Q3：如何将增强的内容合并到原始的图形内容中？Q4：如何使模型对增强数据的稳健性？

LLM作为隐式反馈增强器

​ 为了直接面对内隐反馈的稀缺性，我们采用LLM作为知识感知采样器，从自然语言的角度对成对u-i训练数据进行采样。这增加了潜在的有效监督信号，并通过将上下文知识集成到u-i交互中，有助于更好地理解用户偏好。

​ 具体来说，我们向每个用户的历史交互项目提供附带信息（例如，年份、类型），并将一个候选项目池\(C_u=\{i_{u,1},i_{u,2},...,i_{u,|C_u|}\}\)输入LLM。然后，LLM将从C𝑢中选择用户𝑢可能（𝑖𝑢+）或不太可能（𝑖𝑢−）交互的项目。在这里，我们引入C𝑢是因为LLM不能对所有项目进行排序。从基本推荐者推荐的有限的候选集中选择项目是一个实用的解决方案。这些候选C𝑢是具有高预测分数\(\hat{y}_{ui}\)的硬样本，可以提供潜在的、有价值的阳性样本和硬阴性样本。值得注意的是，我们使用文本格式而不是id对应的索引来表示每个项。这种表示有几个优点： (1)它使推荐者能够充分利用数据集中的内容，(2)它直观地反映了用户的偏好。增强用户项目交互边并将其合并到训练数据中的过程可以形式化为：

\(i_{\boldsymbol{u}}^{+},i_{\boldsymbol{u}}^{-}=LLM(\mathbb{P}_{\boldsymbol{u}}^{UI});\quad\mathcal{E}_{BPR}=\mathcal{E}\cup\mathcal{E}_{\mathcal{A}}\)

​ 其中，𝑖𝑢+，𝑖𝑢−是根据输入提示\(\mathbb{P}_{\boldsymbol{u}}^{UI}\)从用户𝑢的候选C𝑢中选择的BPR的阳性和阴性样本。增强的数据集EA包括成对的训练三联体（𝑢，𝑖𝑢+，𝑖𝑢−），即\(\mathcal{E}_{\mathcal{H}}=\{(u,i_{u}^{+},i_{u}^{-})|(u,i_{u}^{+})\in\mathcal{E}_{\mathcal{H}}^{+},(u,i_{u}^{-})\in\mathcal{E}_{\mathcal{H}}^{-}\}.\)。文本的u-i增强提示$$\mathbb{P}_{\boldsymbol{u}}^{UI}$$包含不同的组成部分： i)任务描述，ii)历史交互，iii)候选项，以及iv)输出格式描述，如下图所示

​ 本研究中使用基于LLM的采样器，在一定程度上缓解了原始内隐反馈中存在的噪声（即假阳性）和非交互项目问题（即假阴性）。在这种情况下，(i)假阳性是不可靠的u-i交互，它包含了用户并非真正有意的项目，如意外点击或受流行偏差影响的实例；（ii）由非交互项目代表的假阴性，这不一定表明用户偏好，但通常被视为阴性样本。通过将LLM作为隐式反馈增强器，LLMRec利用LLM知识的支持，具有显著的推理能力，能够获得更有意义和信息丰富的样本。

​

基于LLM的侧部信息增强

在开始之间简单贴一下网上对边信息的解释：

Side Information（辅助信息） 除了用户的行为序列，还有其他很多可以用到的特征，如品类、描述词、物品的历史点击率、时间、地点、天气、上下文等信息，每个特征都可以形成一个与行为序列一一对应的序列，输入模型以辅助预测。 这类信息统称为“side information”。

用户画像和项目属性的增强

​ 利用LLM的知识库和推理能力，我们建议利用用户的历史交互和项目信息来总结用户档案，以克服隐私的限制。此外，基于LLM的项目属性生成旨在产生空间统一的、信息丰富的项目属性。我们的基于LLM的侧信息增强范式包括两个步骤：

• 用户-项目信息的细化：使用来自数据集的交互和边信息的提示，我们允许LLM生成最初不属于数据集的用户和项目属性。具体的例子如上图b,c所示
• LLM增强语义嵌入：LLM增强语义嵌入。增强的用户和项目信息将被编码为特征，并作为推荐系统的输入。使用LLM作为编码器提供了高效和最先进的语言理解，支持分析用户交互首选项和去偏置项目属性。

​ 形式上，基于LLM的侧信息增强如下：

\[\begin{cases}\boldsymbol{user}:&\mathbb{A}_{\boldsymbol{u}}=LLM(\mathbb{P}_{\boldsymbol{u}}^{U})&\longrightarrow&\mathbf{f}_{\mathcal{A},\boldsymbol{u}}=LLM(\mathbb{A}_{\boldsymbol{u}})\\\boldsymbol{item}:&\mathbb{A}_{\boldsymbol{i}}=LLM(\mathbb{P}_{\boldsymbol{i}}^{I})&\longrightarrow&\mathbf{f}_{\mathcal{A},\boldsymbol{i}}=LLM(\mathbb{A}_{\boldsymbol{i}})\end{cases} \]

​ 其中\(\mathbf{f}_{\mathcal{A},u},\mathbf{f}_{\mathcal{A},i,}\in\mathbb{R}^{d_{LLM}}\)是具有LLM的隐藏维度\(d_{LLM}\)的LLM增强的用户/项目特性。文本提示P𝑈𝑢和P𝐼𝑖分别用于用户𝑢和项目𝑖的属性细化。A𝑢和A𝑖表示已生成的文本属性，并使用𝐿𝐿𝑀（·）的嵌入能力将其编码为特征\(\mathbf{F}_{\mathcal{A},u},\mathbf{F}_{\mathcal{A},i,}\)。

​

侧信息合并

​ 在获得用户/项目的增强侧信息后，需要一种有效的合并方法。LLMRec包括一个标准程序： (1)增强语义投影，(2)协作上下文注入，和(3)特征合并。让我们深入研究每一个：

• 增强语义投影：采用dropout的线性层不仅降低LLM增强语义特征的维数，而且将增强特征映射到自己的空间中。该过程可以表示为\(\mathbf{\overline{F}}_{\mathcal{A}}=\mathrm{Linear}(\mathbf{F}_{\mathcal{A}}),\)），其中\(\mathbf{f}_{\mathcal{R}}\in\mathbb{R}^{1\times d_{LLM}}\)为输入特征，\(\mathbf{f}_{\mathcal{R}}\in\mathbb{R}^{1\times d}\)为投影后的输出特征。
• 协同上下文注入：为了将高阶协作连接注入到增强特征\(\bar{\mathbf{f}}_{\mathcal{A},u}\)和\(\bar{\mathbf{f}}_{\mathcal{A},i}\)中，LLMRec采用了轻量级的GNNs 作为编码器
• 语义特征合并：我们不是将增广特征\(\mathbf{\bar{F}}_{\mathcal{A}}\)作为推荐器𝑓Θ的可学习向量的初始化，而是选择将\(\mathbf{\bar{F}}_{\mathcal{A}}\)作为添加到id对应的嵌入中的附加组合（e𝑢，e𝑖）。这允许使用尺度因子和归一化灵活地调整LLM增强特征的影响。形式上，\(\mathbf{\bar{F}}_{\mathcal{A}}\)的合并如下：

\[\mathbf{h}_u=\mathbf{e}_u+\omega_1\cdot\sum_{k\in\mathcal{M}\cup\mathbb{A}_u}^{|\mathcal{M}|+|\mathbb{A}_u|}\frac{\vec{\mathbf{f}}_u^k}{\|\vec{\mathbf{f}}_u^k\|_2};\quad\mathbf{h}_i=\mathbf{e}_i+\omega_1\cdot\sum_{k\in\mathcal{M}\cup\mathbb{A}_i}^{|\mathcal{M}|+|\mathbb{A}_i|}\frac{\vec{\mathbf{f}}_i^k}{\|\vec{\mathbf{f}}_i^k\|_2} \]

伴随去噪的训练

​ 在本节中，我们将概述LLMRec如何将增强的数据集成到优化中。我们还引入了两种增强边和节点特征的质量约束机制： i)噪声用户项交互剪枝，以及ii)基于MAE的特征增强。

​

通过噪声修剪进行增强优化

​ 我们使用并集\(\mathcal{E}\cup\mathcal{E}_{\mathcal{A}}\)来训练推荐器，其中包括原始训练集E和llm增广集EA。目标是通过增加监控信号\(\mathcal{E}\cup\mathcal{E}_{\mathcal{A}}\)来优化BPR LBPR损失，旨在通过利用合并的llm增强的用户偏好来提高推荐系统的性能：

\[\begin{aligned}\mathcal{L}_\mathrm{BPR}&=\sum_{(u,i^+,i^-)}^{|\mathcal{E}\cup\mathcal{E}_{\mathscr{P}}|}-\log\left(\sigma(\hat{y}_{\boldsymbol{u},i^+}-\hat{y}_{\boldsymbol{u},i^-})\right)+\omega_2\cdot\|\Theta\|^2\\\mathcal{E}_{\mathcal{R}}&\subseteq\{LLM(\mathbb{P}_{\boldsymbol{u}})|\boldsymbol{u}\in\mathcal{U}\},\quad|\mathcal{E}_{\mathcal{H}}|=\omega_3*B\end{aligned} \]

噪声修剪

​ 为了提高增强数据的有效性，我们剔除了不可靠的u-i交互噪声。从技术上讲，在对每次迭代进行排序后，在负值之前的最大值将被丢弃。这有助于确定相关的优先级和强调监控信号，同时减轻噪声的影响。形式上，在等式中的目标损失函数带有噪声修剪后，可以重写如下：

\[\sum_{(\boldsymbol{u},\boldsymbol{i}^+,\boldsymbol{i}^-)}^{(1-\boldsymbol{\omega}_4)*|\boldsymbol{E}\cup\boldsymbol{E}_{\mathcal{J}\boldsymbol{J}}|}-\boldsymbol{Sort}A\boldsymbol{scend}\left(\log(\sigma(\hat{y}_{\boldsymbol{u},\boldsymbol{i}^+}-\hat{y}_{\boldsymbol{u},\boldsymbol{i}^-}))\right)[0:N]+\omega_2\cdot\|\Theta\|^2 \]

​ 函数𝑆𝑜𝑟𝑡𝐴𝑠𝑐𝑒𝑛𝑑（·）[0：𝑁]对值进行排序并选择topN。保留的数字𝑁由𝑁=（1−𝜔4）·|E∪EA |计算，其中𝜔4是一个速率。这种方法允许对损失样本进行控制剪枝，强调相关信号，同时降低噪声。这可以避免不可靠的梯度反向传播的影响，从而使优化更加稳定和有效。

​

通过MAE来增强 增强语义特征

​ 为了减轻噪声增强特征的影响，我们使用了Mask自动编码器（MAE）进行特征增强。具体来说，掩蔽技术是为了降低模型对特征的敏感性，然后通过重构目标来增强特征编码器。形式上，我们选择节点的一个子集，并使用掩码标记[MASK]来掩码它们的特征，表示为f[𝑀𝐴𝑆𝐾]（例如，一个可学习的向量或平均池）。

​ 后续的就不多解释了，总之最后引入了一个恢复损失函数，类似于余弦损失，表示如下：

\[\mathcal{L}_{FR}=\frac{1}{|\widetilde{\mathcal{V}}|}\sum_{v\in\widetilde{\mathcal{V}}}(1-\frac{\widetilde{\bar{\mathbf{f}}}_{\mathcal{A}}\cdot\bar{\mathbf{f}}_{\mathcal{A}}}{\|\widetilde{\bar{\mathbf{f}}}_{\mathcal{A}}\|\cdot\|\bar{\mathbf{f}}_{\mathcal{A}}\|})^{\gamma} \]

​ 最终的优化目标是将噪声修剪的BPR损失LBPR和特征恢复（FR）损失L𝐹𝑅的加权和。