Uncovering ChatGPT’s Capabilities in Recommender Systems论文阅读笔记

Uncovering ChatGPT’s Capabilities in Recommender Systems论文阅读笔记

Abstract

​ 在本研究中，我们的目标是通过将ChatGPT的推荐能力与传统的信息检索（IR）排名能力对齐，包括点排序、成对排序和列表排序。为了实现这一目标，我们将上述三种建议策略重新制定为专门针对现有领域而定制的快速格式。

Introduction

​ 以往的研究通常使用三种方法来构建这些排序列表：点级、成对级和列表级。因此在本文中，我们的重点是通过将LLM与这三个排名视角对齐来探索它们的推荐能力。

​ 为了从这三个排名的角度研究LLM在推荐任务中的潜力，我们首先将这三种功能重新定义为针对特定领域定制的提示，并作为LLM的输入。然后，我们对来自不同知识丰富领域的ChatGPT和其他流行的来自OpenAI的四个广泛使用的推荐基准进行了实证分析。

​ 综上所述，经过经验实验，我们有以下主要发现：

• 与其他LLM相比，ChatGPT在所有三种排名能力上都显示出了一致的优势。
• ChatGPT擅长于列表级排名和两两级排名，而在点级排名方面不太好。
• ChatGPT在有限的训练数据下可以优于传统的推荐模型
• 考虑到成本方面的改进，我们建议在实践中对基于LLM的推荐系统进行列表排序。

探索GPT的推荐功能

​ 可供推荐的LLM的总体评估框架如下：

​

​ 在本节中，我们利用提示来调整点、两两和列表排序任务，使现成的LLM能够有效地处理这些任务。

推荐系统中的三个排名能力

​ 个性化推荐的核心目标是根据用户的偏好对候选项目进行排序。为了实现这一点，目前的学习排名（LTR）方法通过相应的损失函数赋予系统不同的推荐能力，包括点排名能力、成对排名能力和列表排序能力

• 点排序能力：学习预测每个用户𝑢的偏好评分，然后使用偏好评分对每个用户的项目进行排序。
• 成对排序能力：学习为每个用户𝑢比较成对的项目，并通过成对评分函数预测哪个项目是首选。根据相对偏好评分𝑠对项目进行排名。成对铰链损失或贝叶斯个性化排序损失（BPR）是成对排序中使用的典型损失函数。
• 列表排名能力：推荐系统通过列表评分函数直接预测每个用户的评分，然后根据预测的分数对项目进行排序。采用列表损失，如抽样的softmax损失来优化推荐模型。

根据提示重新制定和调整推荐

​ 我们的提示由三个组成部分组成：

​ (i)任务描述𝐼指的是使LLM能够理解执行推荐任务所需的特定领域的过程。任务描述被设计为领域感知，这增强了LLM对相关知识的感知。

​ (ii)示范实例D，这里的示范实例包括用户的历史交互项目h，需要排序的候选项目c，以及LLM给出的预测y。之后将示范实例转化为设计的提示模板。

​ (iii)新的输入查询：对给定用户\(f(\mathbf{h}^{\prime},\mathbf{c}^{\prime}\mid u)\)的新输入查询，需要由LLM来回答。对于三个排序任务，对应的候选项c构造如下：

\[\mathbf{c}=\begin{cases}\{i\}&\text{for point-wise ranking capability,}\\\{i_m,i_n\}&\text{for pair-wise ranking capability,}\\\{i_1,i_2,\cdots,i_k\}&\text{for list-wise ranking capability.}\end{cases} \]

​ LLM将利用通过不同提示引出的不同排名功能来做出预测

\[\begin{aligned} \hat{y}_{i}& =LLM_{\mathrm{point}}\left(I,\mathcal{D},f(\mathbf{h}^{\prime},\mathbf{c}^{\prime}\mid u)\right), \\ \hat{y}_{i_m>i_n}^{\prime}& =LLM_{\mathrm{pair}}\left(I,\mathcal{D},f(\mathbf{h'},\mathbf{c'}\mid u)\right), \\ \hat{y}_{i_1}^{\prime},\hat{y}_{i_2}^{\prime},\cdots,\hat{y}_{i_k}^{\prime}& =LLM_{\mathrm{list}}\left(I,\mathcal{D},f(\mathbf{h'},\mathbf{c'}\mid u)\right). \end{aligned} \]

总结

​ 感觉本文核心的点就是从三个任务方面探索了GPT在推荐上的能力