摘要：
https://blog.csdn.net/m0_37924639/article/details/112503883 https://zhuanlan.zhihu.com/p/261923201 阅读全文
posted @ 2024-03-19 17:23
AI_Engineer
阅读(144)
评论(0)
推荐(0)
摘要：
背景 MMoE模型从一定程度上解决了多个目标（任务）在训练过程中的相互耦合的问题，即使用门控概念（gate network）降低了因为share-layer部分带来的“特征耦合”。但其实这是不够的，因为在每一个expert内部，与其他的expert不存在联系，这导致每个expert的表达能力不是“那 阅读全文
posted @ 2024-03-06 11:36
AI_Engineer
阅读(138)
评论(0)
推荐(0)
摘要：
损失函数 1. MSE（均方误差损失） \[ C = (y - f(x))^2 \] \[ \frac{\partial C}{\partial f(x)} = -2(y - f(x)) \] 优点： 1. 收敛快 缺点： 1. 假设了样本服从正态分布，如果训练样本label不服从正态分布，则MSE 阅读全文
posted @ 2024-02-20 13:12
AI_Engineer
阅读(1375)
评论(0)
推荐(0)
摘要：
双塔模型介绍 由于粗排的候选数目比精排多很多，粗排无法做的和精排一样复杂。现在业内比较通用的方案是采用双塔模型，左边塔建模user embedding，右边塔建模item embedding，由于用户的行为经常发生变化，user tower需要经常更新，但是item状态很少发生变化，可以离线算好所有 阅读全文
posted @ 2024-02-18 12:03
AI_Engineer
阅读(532)
评论(0)
推荐(0)
摘要：
张俊林：从对比学习视角，重新审视推荐系统的召回粗排模型 小红书高时效推荐系统背后的技术升级 https://github.com/Doragd/Algorithm-Practice-in-Industry 1.9万亿参数量，快手落地业界首个万亿参数推荐精排模型 推荐系统融合排序的多目标寻优技术 ht 阅读全文
posted @ 2024-02-04 11:48
AI_Engineer
阅读(39)
评论(0)
推荐(0)
摘要：
对于一个user_id，用一个embedding去学习和这个user有正向行为的item的item tower输出的embedding的均值 同理，对于一个item_id，用一个embedding去学习和这个item有正向行为的user的user tower输出的embedding的均值 https 阅读全文
posted @ 2024-02-04 11:40
AI_Engineer
阅读(228)
评论(0)
推荐(0)
摘要：
继ETA之后采用SimHash 长序列建模的改进方案 https://zhuanlan.zhihu.com/p/560657191 阅读全文
posted @ 2024-02-04 11:35
AI_Engineer
阅读(139)
评论(0)
推荐(0)
摘要：
背景 这里是阿里继SIM之后提出的长序列建模方法，虽然SIM能够处理上万甚至几十万的序列长度，但是也面临几方面的问题： 目标不一致：GSU建立索引使用的item embedding不是SIM模型生成的，可能是预训练的，也有可能是直接拿item的类别建立的索引，比如是拿家电、女装、生鲜这样的类别 更新 阅读全文
posted @ 2024-02-04 11:29
AI_Engineer
阅读(200)
评论(0)
推荐(0)
摘要：
背景 论文指出，SASRec 和 基于RNN的序列推荐模型存在以下几个限制： 只利用了单向的信息进行建模，单向结构限制了用户行为序列中隐藏表示的能力 假定存在一个严格有序的序列，但这并非总是可行的 为了解决这些局限性，论文提出了一种名为 BERT4Rec 的序列推荐模型，该模型采用深度双向自注意力机 阅读全文
posted @ 2024-01-29 16:44
AI_Engineer
阅读(188)
评论(0)
推荐(0)
阿里长序列建模论文MIMN：《Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction》
摘要：
背景 这里阿里2019 kdd提出的长序列建模论文，在阿里电商场景下，其中90%特征都是序列特征，且建模的序列长度为1000时比序列长度为100时auc能带来0.6%的提升。但是长序列建模受到了存储和延迟的双重制约 论证主要有两点贡献： 从服务系统的角度来看，论文通过设计一个名为 UIC（用户兴趣中 阅读全文
posted @ 2024-01-29 16:06
AI_Engineer
阅读(135)
评论(0)
推荐(0)
浙公网安备 33010602011771号