xd_xumaomao

摘要： 背景 这里阿里2019 kdd提出的长序列建模论文，在阿里电商场景下，其中90%特征都是序列特征，且建模的序列长度为1000时比序列长度为100时auc能带来0.6%的提升。但是长序列建模受到了存储和延迟的双重制约 论证主要有两点贡献： 从服务系统的角度来看，论文通过设计一个名为 UIC（用户兴趣中 阅读全文

摘要： 背景 DIN这种序列建模方式由于时间复杂度的问题（O（nd）），序列长度最多只能到几百，如何能建模更长的用户行为序列呢？ 作者通过观察发现，用户的行为序列由多个session组成，session是根据时间划分出来的用户行为（比如说可以根据用户浏览时间划分session，若用户30分钟没有浏览记录时， 阅读全文

摘要： 背景 DIN的成功在于采用了attention的方式根据不同的候选，动态的把注意力集中在和候选相关的行为中，但是DIN没有考虑用户行为之间的相关性，以及行为的先后顺序，物品行为的先后顺序常常表示了用户的兴趣的变化趋势。DIEN 通过引入GRU结构来捕捉用户行为之间的相关性以及用户兴趣的进化趋势。 方 阅读全文

摘要： 这篇论文和DIN最大区别就是把target-attention部分替换成了transformer encoder结构，相对于DIN的优点是DIN只考虑了target-item和序列litem之间的相似性，而transformer对序列内部的关系进行了建模 整体的模型结构如下图所示： 阅读全文

摘要： 背景 用户是否点击一个物品可能受长期兴趣和短期行为的影响，用户的长期兴趣一般比较稳定，短期兴趣会不断变化。现有的工作中对长期兴趣和短期兴趣的建模师混合在一起的，这片论文提出了一种对长期兴趣和短期兴趣分开建模的方法。 方法 用户兴趣建模 U：用户属性，包含了用户ID和行为序列 Ul：用户的长期兴趣表示 阅读全文

摘要： 背景 这是阿里2019年发表的一篇用于召回阶段的序列建模论文，这篇论文主要解决了两个问题： 1. 用户可能有多个兴趣（这篇论文的多个兴趣是指用户是否购买一个商品可能会受颜色、品牌、店铺等多个因素影响），如何建模多个兴趣 2. 用户的兴趣可以分为短期兴趣（当前session），长期兴趣，如何同时建模长 阅读全文

摘要： 训练：对label分桶 serving：落在每个桶的概率*桶均值 阅读全文

摘要： 背景 现在大部分召回模型都是把用户表示为一个embedding，但一个embedding很难捕获用户多方面的兴趣，MIND是阿里提出的用于召回阶段的多兴趣建模论文，这篇论文把用户表示成了多个兴趣向量 方法 MIND的模型结构如上图所示，主要包含3个layer： Embedding & Pooling 阅读全文

摘要： 背景 通过学习句子的向量表示达到语义搜索、文本相似度计算 方法 正样本：相邻片段 负样本：inbatch其它样本 参考资料 https://zhuanlan.zhihu.com/p/496870495 https://zhuanlan.zhihu.com/p/469474178 阅读全文

摘要： 背景 用户的行为序列对于建模用户兴趣是非常重要的，但是像DIN/MHTA这种建模方式受性能的制约一般只能建模50~100长度的序列，但是在电商、短视频等用户行为比较丰富的场景，用户的行为序列长度可能过万。 直接对这么长的序列建模肯定不可行的，阿里提出了两阶段长序列建模的方案SIM： 用target 阅读全文