Deep Learning 论文解读——Session-based Recommendations with Recurrent Neural Networks
博客地址：http://www.cnblogs.com/daniel-D/p/5602254.html
这篇论文的工作是讲 RNN 应用到推荐系统中，想法在于把一个 session 点击一系列 item 的行为看做一个序列，用来训练一个 RNN 模型。在预测阶段，把 session 已知的点击序列作为输入，用 softmax 预测该session下一个最有可能点击的item。论文想法虽然很朴素很直白，但是目前这类直接用deep learning的结构来做推荐的论文非常少（RBM除外），因此值得仔细研读。
Architecture
论文采用了 RNN 中的 GRU 单元作为基本结构，组建了一个深层的神经网络来预测该session下一个点击的item 的概率。比如item拥有 2w 个，那么通过 1-of-N coding 的方式（one hot encoding），神经网络的第一层就有2w个节点，然后通过第二层embedding层压缩为低维连续向量（假设200维），当然最开始这些向量都是随机初始化的。embedding这一层实际上是一个 2w * 200的矩阵字典，每一行 200 维的向量就是一个item的presentation。这200维向量可作为 stacked GRU 的输入，得到低维连续的输出（200维），然后通过与 一个 200 * 2w 的矩阵相乘，得到了下一个点击的item在 2w 个节点中的预测概率，整体而言，这是一个 sequence to sequence 的预测问题。
为了更好的并行计算，论文采用了mini-batch的处理，即把不同的session拼接起来，同一个sequence遇到下一个Session时，要注意将 GRU 中的一些向量重新初始化。因为item的维度非常高，每次要预测 2w 个item 的概率会导致计算量庞大，因此原则上只选取当前的正样本（即下一个点击的item）加上随机抽取的负样本。论文采用了取巧的方法来减少采样需要的计算量，即选取了同一个 mini-batch 中其他sequence下一个点击的item作为负样本，用这些正负样本来训练整个神经网络。
Loss Function
作者尝试了 常见的 point-wise rank loss，即认为负样本为 0， 正样本为 1 的loss function，发现训练出来的模型并不稳定，原因可能因为在推荐里面，并不存在绝对的正样本和负样本。在同一个情景里面，用户只能点击一个最偏好的item，对其他item可能也存在偏好，这并不是一个非黑即白的classification问题。然后作者尝试了 pair-wise rank loss，并且对于负样本的分数进行了近0约束，防止训练过程中分数相互“攀比”的情形下所有的预测分数都越来越高。实际上，我认为这种约束方法近似于对 权重进行了 L2 约束。
Results
论文在 recSys2015 竞赛的数据集上进行了点击item的预测评比，对比的方法有 pop 、s-pop 、item-knn以及 BPR-MF，评测标准有 MRR@20 和 Recall@20，貌似都取得了不错的效果。
一些想法
a、最后一层很重要，最后一层隐层实际是前面点击序列的embedding结果，可以看做 user 向量。输出层某个节点表示一个item，与之相连的实际是item的向量。
b、user 向量只用到了item序列，item和user本身的profile属性是否可以应用到模型里来？
