Internal and Contextual Attention Network for Cold-start Multi-channel Matching in Recommendation阅读笔记

动机

本文是2020年IJCAI上的一篇论文。现实世界集成推荐系统通常处理百万个异构物品，使用复杂的模型进行全局搜索具有极大挑战，因此大多数推荐系统通常由两部分组成：1。多通道匹配模块有效选出一个小的子集。2.排名模块对子集进行更精确的排序。目前大多数冷启动问题的解决方法都是针对排名部分的，然而多通道匹配模块也会出现冷启动问题，本文作者提出了ICAN来解决多通道匹配模块的冷启动问题。

现实世界的推荐系统如下，物品的类型有很多不同的，如长视频、文章等，每添加一类新物品我们就需要加入一个新的匹配通道。

方法

ICAN的整体结构如下。

Heterogeneous Feature Layer

每个channel都有许多不同的特征，例如tag，id等等，对于某个channel的某个特征i，计算方法如下

其中\(b_{ij}\)表示在channel i中有过行为的第j个用户对应的特征的embedding。
在这一步，我们可以获取所有channel中的所有特征表示。

Contextual Attention Layer

这一步主要计算的是特征与目标channel的注意力分数，具体计算方法如下

根据不同的目标channel，我们可以获取所有特征的加权表示。

Internal Attention Layer

这一步是特征之间的注意力分数计算，


本文使用了多头注意力机制，可以捕获到更多不同的模式。


最终，用户的行为可以表示为

User Preference Representation

将用户的行为、用户的基本信息、用户的内容概要、用户的社会关系连接起来作为\(u^{(0)}\)输入进MLP中，获取最终的用户表示

Optimization Objective

我们将训练作为一个CTR预估任务，损失函数为

实验结果

本文评估方法为HIT@N，提出的ICAN取得了最佳效果。

在线上A/B TEST中，本文也由于YouTube的经典推荐系统，下表是ICAN相对于YouTube推荐系统的改进效果。

其中

总结

本文是召回层的冷启动解决方法，特别是针对于异构的多通道数据，相比与以往排序层的模型，本文模型更加考虑到效率。特别注意ICAN的离线训练和线上服务方法是不同的，离线训练用softmax函数输出用户点击每个物品的概率，但是线上服务使用的是最近邻查找，这样做的原因是最近邻查找可将线上服务复杂度降至O(logn)，节约时间和计算资源(虽然代价是可能会降低一些推荐效果，但是因为这是召回层，不需要特别精细的排序，一些效果损失可以接受)。