GlenTt

导航

#

[置顶] 深度剖析RQ-VAE：从向量量化到生成式推荐的语义ID技术

摘要： 深度剖析RQ-VAE：从向量量化到生成式推荐的语义ID技术 引言 近年来，大规模推荐系统正经历一场深刻的范式演进，其趋势是从传统的双塔召回模型（Dual-Encoder + ANN）向更为灵活和强大的生成式检索（Generative Retrieval）范式迁移。后者借鉴了自然语言处理领域的成功经验 阅读全文

posted @ 2025-09-16 16:10 GRITJW 阅读(1212) 评论(0) 推荐(0)

#

[置顶] 注意力机制：从核心原理到前沿应用

摘要： 注意力机制：从核心原理到前沿应用 注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文

posted @ 2025-09-15 10:17 GRITJW 阅读(462) 评论(0) 推荐(2)

2025年10月15日 #

从SGD到AdamW：深度学习优化器演进全解析与实践指南

摘要： 从SGD到AdamW：深度学习优化器演进全解析与实践指南 从SGD到AdamW：深度学习优化器演进全解析与实践指南 摘要 在深度学习中，优化器（Optimizer）是连接模型与数据的桥梁，它负责根据损失函数的梯度来更新模型的参数，以期找到一组能最小化损失的“最优解”。优化器的选择和调优，直接关系到模型的训练速度、收敛性以及最终的泛化能力。本文将遵循“问题提 阅读全文

posted @ 2025-10-15 16:45 GRITJW 阅读(296) 评论(0) 推荐(1)

2025年10月11日 #

论文分享-ETEGRec：端到端可学习的物品分词与生成式推荐

摘要： ETEGRec：端到端可学习的物品分词与生成式推荐 摘要 现有生成式推荐多采用"两阶段"范式：先离线构造语义标识（Semantic ID），再以固定标识训练生成器，导致分词器与生成器目标失配、分布不一致。ETEGRec 将 RQ-VAE 物品分词器与 T5 式生成器统一到一个端到端框架中，并引入两类 阅读全文

posted @ 2025-10-11 11:51 GRITJW 阅读(91) 评论(0) 推荐(0)

2025年10月10日 #

KV Cache 与 MQA/GQA：从推理优化看注意力机制的工程化演进

摘要： KV Cache 与 MQA/GQA：从推理优化看注意力机制的工程化演进 本文将从自回归推理的工程需求出发，系统阐述 KV Cache 的本质、设计原理及其如何自然引出多查询注意力（MQA）与分组查询注意力（GQA）的优化路径。 一、自回归推理的瓶颈与 KV Cache 的诞生 在 Transfor 阅读全文

posted @ 2025-10-10 19:46 GRITJW 阅读(109) 评论(2) 推荐(1)

2025年10月9日 #

QARM：多模态语义对齐与量化在推荐系统中的实践路径

摘要： QARM：多模态语义对齐与量化在推荐系统中的实践路径 在短视频、电商、广告等多模态内容密集的业务中，如何让推荐系统真正理解"内容语义"成为关键挑战。传统的推荐系统依赖 ID-based 特征（如用户 ID、物品 ID、场景 ID），而多模态信息（如图像、文本、音频）通常以固定向量的形式加入模型输入， 阅读全文

posted @ 2025-10-09 18:47 GRITJW 阅读(161) 评论(0) 推荐(0)

语义Id论文精读：COBRA《Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations》

摘要： 语义Id论文精读：COBRA《Sparse Meets Dense: Unified Generative Recommendations with Cascaded Sparse-Dense Representations》 大家好，接下来我将为大家系统性地梳理语义ID在推荐领域的两大主流技术路线 阅读全文

posted @ 2025-10-09 10:08 GRITJW 阅读(99) 评论(0) 推荐(0)

2025年10月8日 #

语义ID论文精读《Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations》

摘要： 语义ID论文精读《Better Generalization with Semantic IDs: A Case Study in Ranking for Recommendations》 大家好，接下来我将为大家系统性地梳理语义ID在推荐领域的两大主流技术路线相关论文，在此之前我先给出我目前关于语 阅读全文

posted @ 2025-10-08 14:51 GRITJW 阅读(192) 评论(0) 推荐(1)

2025年10月7日 #

强化学习系统性学习笔记（二）：策略优化的理论基础与算法实现

摘要： 策略优化的理论基础与算法实现 3.2 REINFORCE: 最早的策略梯度算法 在完成策略梯度定理的推导后,我们获得了梯度的理论形式: \[\nabla_\theta J(\pi_\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_{t=0}^ 阅读全文

posted @ 2025-10-07 11:54 GRITJW 阅读(160) 评论(0) 推荐(1)

2025年10月6日 #

InstructGPT 论文略读：三步走，让大模型真正听懂人话

摘要： InstructGPT 论文略读：三步走，让大模型真正听懂人话 摘要 (Introduction) 大语言模型（LLM），如 GPT-3，无疑开启了自然语言处理的新纪元。它们强大的零样本和少样本学习能力，让我们看到了通用人工智能的一丝曙光。然而，任何与 GPT-3 有过深入“交流”的开发者或研究员都 阅读全文

posted @ 2025-10-06 09:47 GRITJW 阅读(130) 评论(0) 推荐(0)

2025年10月4日 #

强化学习系统性学习笔记（一）：从理论基础到策略优化

摘要： 强化学习系统性学习笔记（一）：从理论基础到策略优化 一、强化学习的起源与核心问题 1.1 理论溯源：从生物学习到数学框架 强化学习的思想源头可以追溯到生物行为心理学中的"试错学习"原理。在自然界中，生物个体通过反复尝试不同行为并观察环境反馈，逐步学会选择能够带来更好结果的行动策略。这一朴素而普适的学 阅读全文

posted @ 2025-10-04 14:26 GRITJW 阅读(269) 评论(0) 推荐(0)

2025年10月3日 #

推荐系统中损失函数梳理：从Pointwise到Listwise

摘要： 推荐系统中的损失函数梳理：从Pointwise到Listwise 引言：目标决定损失函数选择 推荐系统通常采用两阶段架构：召回（Recall）与精排（Ranking）。两个阶段的优化目标存在本质差异，这直接决定了损失函数的选择。 召回阶段从海量候选集（百万至亿级）中筛选出数百至数千个候选物品。这一阶 阅读全文

posted @ 2025-10-03 13:43 GRITJW 阅读(125) 评论(0) 推荐(0)

下一页