AI_Engineer - 博客园

2024年1月26日

阿里序列建模论文DSIN 《Deep Session Interest Network for Click-Through Rate Prediction》

摘要：背景 DIN这种序列建模方式由于时间复杂度的问题（O（nd）），序列长度最多只能到几百，如何能建模更长的用户行为序列呢？作者通过观察发现，用户的行为序列由多个session组成，session是根据时间划分出来的用户行为（比如说可以根据用户浏览时间划分session，若用户30分钟没有浏览记录时，阅读全文

posted @ 2024-01-26 16:44 AI_Engineer 阅读(71) 评论(0) 推荐(0)

2024年1月24日

阿里序列建模论文DIEN

摘要：背景 DIN的成功在于采用了attention的方式根据不同的候选，动态的把注意力集中在和候选相关的行为中，但是DIN没有考虑用户行为之间的相关性，以及行为的先后顺序，物品行为的先后顺序常常表示了用户的兴趣的变化趋势。DIEN 通过引入GRU结构来捕捉用户行为之间的相关性以及用户兴趣的进化趋势。方阅读全文

posted @ 2024-01-24 12:23 AI_Engineer 阅读(117) 评论(0) 推荐(0)

2024年1月23日

阿里transformer序列建模论文BST

摘要：这篇论文和DIN最大区别就是把target-attention部分替换成了transformer encoder结构，相对于DIN的优点是DIN只考虑了target-item和序列litem之间的相似性，而transformer对序列内部的关系进行了建模整体的模型结构如下图所示：阅读全文

posted @ 2024-01-23 12:01 AI_Engineer 阅读(189) 评论(0) 推荐(0)

2024年1月22日

快手长短期序列建模论文CLSR

摘要：背景用户是否点击一个物品可能受长期兴趣和短期行为的影响，用户的长期兴趣一般比较稳定，短期兴趣会不断变化。现有的工作中对长期兴趣和短期兴趣的建模师混合在一起的，这片论文提出了一种对长期兴趣和短期兴趣分开建模的方法。方法用户兴趣建模 U：用户属性，包含了用户ID和行为序列 Ul：用户的长期兴趣表示阅读全文

posted @ 2024-01-22 20:25 AI_Engineer 阅读(325) 评论(0) 推荐(0)

2024年1月18日

阿里序列召回模型：《SDM: Sequential Deep Matching Model for Online Large-scale Recommender System》

摘要：背景这是阿里2019年发表的一篇用于召回阶段的序列建模论文，这篇论文主要解决了两个问题： 1. 用户可能有多个兴趣（这篇论文的多个兴趣是指用户是否购买一个商品可能会受颜色、品牌、店铺等多个因素影响），如何建模多个兴趣 2. 用户的兴趣可以分为短期兴趣（当前session），长期兴趣，如何同时建模长阅读全文

posted @ 2024-01-18 21:57 AI_Engineer 阅读(575) 评论(0) 推荐(0)

2024年1月17日

softmax+logloss训练回归任务

摘要：训练：对label分桶 serving：落在每个桶的概率*桶均值阅读全文

posted @ 2024-01-17 18:11 AI_Engineer 阅读(16) 评论(0) 推荐(0)

2024年1月16日

阿里多兴趣序列建模论文MIND

摘要：背景现在大部分召回模型都是把用户表示为一个embedding，但一个embedding很难捕获用户多方面的兴趣，MIND是阿里提出的用于召回阶段的多兴趣建模论文，这篇论文把用户表示成了多个兴趣向量方法 MIND的模型结构如上图所示，主要包含3个layer： Embedding & Pooling 阅读全文

posted @ 2024-01-16 14:23 AI_Engineer 阅读(809) 评论(0) 推荐(0)

2024年1月15日

句向量表示《Text and Code Embeddings by Contrastive Pre-Training》

摘要：背景通过学习句子的向量表示达到语义搜索、文本相似度计算方法正样本：相邻片段负样本：inbatch其它样本参考资料 https://zhuanlan.zhihu.com/p/496870495 https://zhuanlan.zhihu.com/p/469474178 阅读全文

posted @ 2024-01-15 21:02 AI_Engineer 阅读(73) 评论(0) 推荐(0)

阿里两阶段长序列建模SIM：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》

摘要：背景用户的行为序列对于建模用户兴趣是非常重要的，但是像DIN/MHTA这种建模方式受性能的制约一般只能建模50~100长度的序列，但是在电商、短视频等用户行为比较丰富的场景，用户的行为序列长度可能过万。直接对这么长的序列建模肯定不可行的，阿里提出了两阶段长序列建模的方案SIM：用target 阅读全文

posted @ 2024-01-15 17:16 AI_Engineer 阅读(309) 评论(0) 推荐(0)

华为AutoDis

摘要： https://zhuanlan.zhihu.com/p/415610118 https://mp.weixin.qq.com/s/gsI-LqaH_uHN0qJH98sS4A 阅读全文

posted @ 2024-01-15 15:05 AI_Engineer 阅读(24) 评论(0) 推荐(0)

xd_xumaomao

公告