摘要：
冷启动内容 冷启动分成用户冷起、物品冷起、系统冷启动；用户冷启目的是提升用户留存以及活跃度等指标，帮助用户增长；物品冷启动主要是提升品类多样性以及丰富度，促进内容生态。生态健康才能保持长久广告收益以及成交额。 用户冷启的核心在于数据稀疏，新用户不了解，如何获取更多数据或者更好的刻画用户，譬如使用其他 阅读全文
posted @ 2024-05-15 08:53
adam86546853
阅读(136)
评论(0)
推荐(0)
摘要：
大模型问题汇总 llama 2注意力机制，手写分组注意力机制 GQA分组注意力机制(为了加速模型训练和推理，MHA每个head都需要一个QKV矩阵，于是有了将K,V矩阵分组，几个head共用一个KV矩阵，Q矩阵不变) MQA 则是所有的head共用KV矩阵 langchain介绍，主要组件 lang 阅读全文
posted @ 2024-08-17 16:46
adam86546853
阅读(77)
评论(0)
推荐(0)
摘要：
多场景存在问题 场景特征差异，训练样本以及训练梯度不一致 场景之间相互影响，有增益部分，也有互斥部分 如何解决上面这些问题： 公域特征抽象出来(用户画像，物品特征、全场景行为序列)，私域特征(场景特征行为特征，场景位置，版面等) 公域特征网络 + 每个私域场景一个特征网络(concatenate) 阅读全文
posted @ 2024-08-08 22:03
adam86546853
阅读(53)
评论(0)
推荐(0)
摘要：
多模态特征如何融入到推荐 最近刚好读了2篇文章，对于多模态特征处理的核心问题： 多模态表征和推荐ID类特征的表征不在一个向量空间，如何有效融合； 其次多模态特征预训练的，如何有效评估以及融入推荐系统之后如何进行更新的问题 一、先解决怎么融合的问题： 将多模态表征聚类，使用聚类的id进行输入，模态特征 阅读全文
posted @ 2024-08-06 11:05
adam86546853
阅读(124)
评论(0)
推荐(0)
摘要：
转化延迟 这块研究比较多，但目前还未有比较好的解法，列举一下工业界场景解法以及如何操作实时。见过很多讲理论的，实操好像还没啥人讲。 DFM(转化延迟建模) 将带有延迟的转化分布分解成转化时间和转化率的分布，一个模型拟合延迟时间间隔，一个拟合是否最终转化(a. 观测为负样本的概率 b. 转化延迟di, 阅读全文
posted @ 2024-05-24 14:58
adam86546853
阅读(147)
评论(0)
推荐(0)
摘要：
对比学习研究方向： Data Argument 提升原始样本和增强样本一致性，加大原始样本和其他样本的差异 容易拉大同类样本的特征差异 Sampling Strategy 类似FB提出的hard negative样本 Loss Function 研究较多，NCE、infoNCE、SupConLoss 阅读全文
posted @ 2024-05-24 11:29
adam86546853
阅读(71)
评论(0)
推荐(0)
摘要：
核心问题点 60%内存存放参数，30%存放缓存的key,value向量,10%存放其他参数。 LLM相对传统深度学习，对cache的管理较差。 深度学习要求tensor内存连续，一般深度学习内存参数几乎不动，但LLM参数长度动态变化且周期无法预知导致cache内存碎片化 共享内存做的比较差。LLM 阅读全文
posted @ 2024-05-13 13:53
adam86546853
阅读(526)
评论(0)
推荐(0)
浙公网安备 33010602011771号