PP-Rec论文阅读笔记

PP-Rec: News Recommendation with Personalized User Interest and Time-aware News Popularity论文阅读笔记

Abstract

现存的问题：

​ 目前许多方法通常根据新闻内容与用户历史行为推断出的兴趣之间的匹配来推荐新闻。然而，这些方法通常很难向冷启动用户提供准确的推荐，而且往往会推荐与用户已阅读过的新闻相似的新闻。一般来说，热门新闻通常包含重要信息，能吸引不同兴趣的用户。此外，它们在内容和主题上通常也是多样化的。

解决方案

​ 因此，我们在本文中提出结合新闻流行度信息来缓解个性化新闻推荐的冷启动和多样性问题。在我们的方法中，向目标用户推荐候选新闻的排名得分是个性化匹配得分和新闻流行度得分的组合。前者用于捕捉用户对新闻的个性化兴趣。后者用于衡量候选新闻的时间感知流行度，而时间感知流行度是基于新闻内容、重复性和实时点击率，并使用统一框架进行预测的。此外，我们还提出了一种流行度感知用户编码器，以消除用户行为中的流行度偏差，从而实现准确的兴趣建模。

Introduction

​ 在本文中，我们提出了一种名为 PP-Rec 的新闻推荐新方法，该方法不仅可以考虑用户对新闻的个性化兴趣，还可以考虑候选新闻的受欢迎程度。在我们的方法中，向目标用户推荐候选新闻的排名得分是个性化匹配得分和新闻流行度得分的组合。个性化匹配得分用于衡量用户对候选新闻内容的个人兴趣。新闻流行度得分用于衡量候选新闻的时间感知流行度。

​ 由于新闻流行度受内容和新鲜度等多种不同因素的影响，我们提出了一个统一的模型来预测基于新闻内容、重复性和近实时点击率 (CTR) 的时间感知新闻流行度。通过个性化聚合器将这两个分数结合起来进行新闻排名，可以捕捉到不同用户对热门新闻的个性化偏好。

​ 此外，我们还提出了一种知识感知新闻编码器，可从新闻文本和实体中生成新闻内容嵌入。此外，由于新闻流行度会影响用户的点击行为，并导致基于行为的用户兴趣建模出现偏差，因此我们提出了一种流行度感知用户编码器，它可以考虑用户行为中的流行度偏差，并学习更准确的用户兴趣表示。

Method

​ PP-Rec的框架如下：

PP-Rec的框架

​ 在 PP-Rec 中，向目标用户推荐候选新闻的排名得分是个性化匹配得分\(s_m\)和新闻受欢迎程度得分\(s_p\)的组合。个性化匹配得分用于衡量用户对候选新闻内容的个人兴趣，并根据新闻内容嵌入和用户兴趣嵌入之间的相关性进行预测。新闻内容嵌入由知识感知新闻编码器从新闻文本和实体中生成。

​ 用户兴趣嵌入是由一个流行感知的用户编码器从点击新闻的内容以及他们的流行程度中产生的。新闻流行度评分是用来衡量候选新闻的时间感知流行度，这是由基于新闻内容、近因性和近实时CTR的时间感知新闻流行度预测器预测的。

知识感知的新闻编码器

​ 首先，我们介绍知识感知新闻编码器，如图 3 所示。它从新闻标题的文本和实体中学习新闻表征。给定一个新闻标题，我们根据在大规模语料库中预先训练的词嵌入字典获得词嵌入，以纳入初始词级语义信息。我们还根据预先训练的实体嵌入将实体转换为嵌入，从而将知识图谱中的知识信息纳入我们的模型。也就是利用文本和实体来进行新闻的表示

​ 在同一新闻中，实体之间通常存在关联关系。因此，我们利用实体多头自我关注网络（MHSA），通过捕捉实体的相关性来学习实体表征。此外，文本上下文对于学习准确的实体表征也很有帮助。

​ 因此，我们提出了一种实体多头交叉注意力网络（MHCA）来从文本上下文中学习实体表征。然后，我们将每个实体的统一表征表述为 MHSA 网络和 MHCA 网络学习到的实体表征的总和。同样，我们使用单词 MHSA 网络通过捕捉单词之间的关联性来学习单词表征，使用单词 MHCA 网络捕捉单词与实体之间的关联性。然后，我们将单词 MHSA 网络和单词 MHCA 网络生成的表征相加，建立统一的单词表征。

​ 由于不同实体对新闻表征的贡献通常不同，我们使用实体注意力网络从实体表征中学习基于实体的新闻表征 e。同样，我们使用词语注意力网络从词语表征中学习基于词语的新闻表征 w。最后，我们通过注意力网络学习由 e 和 w 加权组合而成的统一新闻表征 n。

时间感知的新闻流行度预测器

​ 接下来，我们将介绍时间感知新闻流行度预测器，如图 4 所示。它用于根据新闻内容、重复性和近实时点击率信息预测时间感知新闻流行度。由于热门新闻的点击概率通常高于非热门新闻，因此点击率可以为热门新闻提供很好的线索。因此，我们将点击率纳入新闻流行度预测。

​ 此外，新闻文章的受欢迎程度通常是动态变化的。随着时间的推移，热门新闻可能会因为过时而变得不那么受欢迎。因此，我们利用最近 t 小时内的用户互动来计算接近实时的点击率（用\(c_t\)表示），从而进行新闻流行度预测。然而，准确计算点击率需要积累足够多的用户互动，这对那些新发布的新闻来说具有挑战性。

​ 幸运的是，新闻内容对于预测新闻受欢迎程度非常有参考价值。例如，关于地震等突发事件的新闻通常很受欢迎，因为它们包含了对我们很多人来说都很重要的信息。因此，除了接近实时的点击率，我们还将新闻内容纳入了新闻流行度预测。我们对新闻内容嵌入 n 应用密集网络来预测基于内容的新闻流行度\(\hat{p_c}\)。由于新闻内容与时间无关，无法捕捉新闻流行度的动态变化，因此我们加入了新闻的实时信息，即发布时间与预测时间之间的持续时间。

​ 它可以衡量新闻文章的新鲜度，有助于改进基于内容的流行度预测。我们以小时为单位量化新闻的时新率 r，并使用时新率嵌入层将量化的新闻时新率转换为嵌入向量 r。然后我们在r上应用密集网络来预测基于最近感知的内容的新闻流行\(\hat{p_r}\)。此外，由于不同的新闻内容通常有不同的生命周期，我们建议使用特定内容聚合器，从\(\hat{p_c}\)和\(\hat{p_r}\)建立时间感知的基于内容的新闻流行度\(\hat{p}\)：

​ \(\hat{p}=\theta\cdot\hat{p}_c+(1-\theta)\cdot\hat{p}_r,\theta=\sigma(\mathbf{W}^p\cdot[\mathbf{n},\mathbf{r}]+\mathbf{b}^p)\)

​ 其中：θ∈（0,1）表示特定于内容的门

​ 最后，最终的时间感知新闻流行度\(s_p\)是基于内容的流行度\(\hat{p}\)和基于点击率的流行度\(c_t\)的加权和：\(s_p=w_c\cdot c_t+w_p\cdot\hat{p}\)

流行感知的用户编码器

​ 用于用户兴趣建模的流行感知用户编码器，如下所示：

一般来说，新闻流行度会影响用户的点击行为，并导致基于行为的用户兴趣建模出现偏差。消除用户行为中的流行度偏差有助于更准确地从用户行为中获取更多用户兴趣。我们设计了一种流行度感知用户编码器，从点击新闻的内容和流行度两方面学习用户兴趣表征。它包含三个部分，我们将详细介绍。

​ 首先，我们将新闻多头自注意力网络应用于被点击新闻的表征，以捕捉其关联性并学习上下文新闻表征。其次，我们将时间感知新闻流行度预测器预测的第 i 条点击新闻的流行度统一量化，并通过流行度嵌入将其转换为嵌入向量\(p_i\)。第三，除了新闻流行度，新闻内容也有助于选择信息量大的新闻来建立用户兴趣模型。因此，我们提出了一个内容-流行度联合关注网络（CPJA）来减轻流行度偏差，并为用户兴趣建模选择重要的点击新闻，其表述如下：

\(\alpha_i=\frac{\exp(\mathbf{q}^T\cdot\tanh(\mathbf{W}^u\cdot[\mathbf{m}_i,\mathbf{p}_i]))}{\sum_{j=1}^N\exp(\mathbf{q}^T\cdot\tanh(\mathbf{W}^u\cdot[\mathbf{m}_j,\mathbf{p}_j]))}\)

​ 最终的用户兴趣嵌入u被表述为上下文新闻表示的加权总和：\(\mathbf{u}=\sum_{i=1}^N\alpha_i\cdot\mathbf{m}_i.\)

新闻排名和模型训练

​ 在本节中，我们将详细介绍如何对候选新闻进行排名和训练模型。候选新闻对目标用户的排名得分基于个性化匹配得分\(s_m\)和新闻受欢迎程度得分\(s_p\)的组合。前者根据用户嵌入 u 和新闻嵌入 n 之间的相关性计算。后者由时间感知新闻流行度预测器预测。此外，对于不同的用户，个性化匹配得分和新闻流行度得分的相对重要性通常是不同的。

​ 例如，对于冷启动用户来说，新闻流行度得分比个性化匹配得分更重要，因为后者是根据稀缺行为得出的，通常并不准确。因此，我们提出了一种结合个性化匹配得分和新闻流行度得分的个性化聚合器：

\(s=(1-\eta)\cdot s_m+\eta\cdot s_p,\)

​ η是基于用户表示u通过一个sigmoid激活函数的密集网络计算的。

​ 最后在模型训练的时候采用的是BPR Loss

总结

​ 这篇文章写的还是非常清晰的。图也很多很明白，这里贴一下原文的conclusion

​ 本文提出了一种名为 "PP-Rec "的新新闻推荐方法，以缓解个性化新闻推荐中的冷启动和多样性问题，该方法可同时考虑用户的个人兴趣和候选新闻的受欢迎程度。在我们的方法中，我们根据个性化匹配得分和新闻流行度得分的组合对候选新闻进行排序。我们提出了一个统一的模型，根据新闻内容、重复性(recency 这个单词不知道怎么翻译合适)和近实时点击率来预测时间感知新闻的受欢迎程度。此外，我们还提出了一个知识感知新闻编码器，用于从新闻文本和实体生成新闻内容嵌入；以及一个流行感知用户编码器，用于从点击新闻的内容和流行度生成用户兴趣嵌入。