摘要：
看一遍就懂-大模型架构及encoder-decoder详细训练和推理计算过程 一、特殊Token的意思 不同模型架构的特殊token体系 BERT（Encoder-only，用于理解任务）： <CLS>：放在句首，用于分类任务，其输出向量代表整句语义 <SEP>：分隔符，用于句对任务（如问答、文本蕴 阅读全文
posted @ 2026-01-25 18:21
石头开会
阅读(1008)
评论(0)
推荐(0)
摘要： 
从点预测到分布建模：小红书-EGMN在视频观看时长预测中的方法与实践 原文：https://arxiv.org/pdf/2508.12665 一、引言：问题背景与研究动机 在短视频推荐系统中，观看时长（Watch Time）被广泛视为衡量用户满意度与内容质量的核心信号之一。与点击、点赞等离散反馈不同 阅读全文
从点预测到分布建模：小红书-EGMN在视频观看时长预测中的方法与实践 原文：https://arxiv.org/pdf/2508.12665 一、引言：问题背景与研究动机 在短视频推荐系统中，观看时长（Watch Time）被广泛视为衡量用户满意度与内容质量的核心信号之一。与点击、点赞等离散反馈不同 阅读全文
posted @ 2025-12-29 17:56
石头开会
阅读(1096)
评论(0)
推荐(1)
摘要：
从负反馈中学习并衡量序列推荐系统的响应能力 Google RecSys’23 —Learning from Negative User Feedback and Measuring Responsiveness for Sequential Recommenders 一、问题背景与研究动机 在工业级 阅读全文
posted @ 2025-12-24 15:04
石头开会
阅读(868)
评论(0)
推荐(0)
摘要：
深度剖析RQ-VAE：从向量量化到生成式推荐的语义ID技术 引言 近年来，大规模推荐系统正经历一场深刻的范式演进，其趋势是从传统的双塔召回模型（Dual-Encoder + ANN）向更为灵活和强大的生成式检索（Generative Retrieval）范式迁移。后者借鉴了自然语言处理领域的成功经验 阅读全文
posted @ 2025-09-16 16:10
石头开会
阅读(8997)
评论(2)
推荐(2)
摘要： 
注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文
注意力机制：从核心原理到前沿应用 如果你关注人工智能，无论是惊艳世人的GPT-4，还是精准洞察你购物偏好的推荐引擎，它们的背后都有一个共同的技术基石——注意力机制 (Attention Mechanism)。 然而，随着技术飞速发展，Attention的“家族”也日益庞大：Self-Attentio 阅读全文
posted @ 2025-09-15 10:17
石头开会
阅读(1147)
评论(0)
推荐(2)
摘要：
Decoder-only 架构全景：任务统一、信息交互与表示更新 Decoder-only 将任务描述、输入内容和生成历史组织成一条连续的 Token序列，并以自回归方式预测下一个 Token。自然语言理解、问答、摘要、代码生成和部分逻辑推理任务都可以转换为这种序列形式，进而使用统一的训练目标和主要 阅读全文
posted @ 2026-09-03 21:38
石头开会
阅读(93)
评论(2)
推荐(1)
摘要：
模型训练稳定性：从训练链路到排障手册 我写这篇手册，不是为了追求一条毫无波动的 loss 曲线，而是为了回答一个更实际的问题：怎样让模型在训练预算内持续、有效、可控地学习，并在出现异常时尽快找到真正原因？ 导读：先把目标说清楚——什么才算训练稳定 0.1 loss 有波动，不等于训练不稳定 大模型训 阅读全文
posted @ 2026-08-28 16:51
石头开会
阅读(99)
评论(0)
推荐(0)
摘要：
为什么 Transformer 在推荐领域难以复现 NLP 的成功？ 很多人说，Transformer 不擅长处理推荐系统中的异质特征。 我认为这个说法并不准确。 用户 ID、商品 ID、城市、类目等特征，都可以转成相同维度的 embedding，再输入 Transformer。多张 embeddi 阅读全文
posted @ 2026-08-14 22:34
石头开会
阅读(157)
评论(0)
推荐(0)
摘要：
RankMixer 中 Semantic Split 与 Auto Split 的 Token 构造方式分析 在 RankMixer 中，原始推荐特征需要先被组织成若干 Token，再进入后续的 Token Mixing 和 Per-token FFN。不同 Token 构造方式，本质上决定了模型在 阅读全文
posted @ 2026-08-09 11:11
石头开会
阅读(105)
评论(0)
推荐(0)
摘要：
推荐模型到底在干什么：条件估计、信息组织与排序决策 大家有没有这种感觉：推荐模型看多了，脑子里全是 FM 做交叉、DIN 做兴趣、Transformer 做序列、RankMixer 做扩展——每个都懂一点，但合在一起就是一张散乱的标签清单。新论文出来就往上贴一张，越贴越碎，始终拼不出一张完整的地图。 阅读全文
posted @ 2026-08-01 16:39
石头开会
阅读(124)
评论(0)
推荐(2)
摘要：
从固定数据到在线策略：SFT、RL 与 OPD 如何重塑模型分布 理解大模型后训练中的能力学习、泛化与遗忘 引言：后训练究竟在改变什么？ 大语言模型在预训练阶段阅读海量文本，并通过“预测下一个 token”学习语言规律、世界知识、代码结构与一定程度的推理能力。然而，一个完成预训练的模型并不天然知道怎 阅读全文
posted @ 2026-07-27 17:35
石头开会
阅读(107)
评论(0)
推荐(1)
摘要：
一、Agent 系统设计 当前 Agent 的设计已经不再只是“给大模型接几个工具”，也不是简单套用 ReAct、AutoGPT 或多 Agent 对话范式。真正可落地的 Agent 系统，本质上是一个由用户入口、系统编排、任务流程、模型运行时、工具接入、上下文管理、权限治理、产物管理和评测观测共同 阅读全文
posted @ 2026-06-10 16:01
石头开会
阅读(350)
评论(1)
推荐(4)
摘要：
 阅读全文
posted @ 2026-04-01 11:40
石头开会
阅读(532)
评论(2)
推荐(0)
摘要： 
AUC 与 GAUC：从全局排序到用户内排序的理解 一、为什么需要 AUC 评估一个推荐模型，最直觉的想法是看准确率——预测对了多少条。但准确率有一个致命缺陷：它高度依赖正负样本的比例。在推荐场景中，用户点击的内容往往只占曝光内容的百分之几，样本极度不平衡，一个把所有样本都预测为"不点击"的模型，准 阅读全文
AUC 与 GAUC：从全局排序到用户内排序的理解 一、为什么需要 AUC 评估一个推荐模型，最直觉的想法是看准确率——预测对了多少条。但准确率有一个致命缺陷：它高度依赖正负样本的比例。在推荐场景中，用户点击的内容往往只占曝光内容的百分之几，样本极度不平衡，一个把所有样本都预测为"不点击"的模型，准 阅读全文
posted @ 2026-03-17 11:46
石头开会
阅读(388)
评论(0)
推荐(1)
摘要： 
推荐系统中 Q 值的设计：从训练目标到推理信号 一、为什么要聊这个话题 做推荐系统的人，每天都在和 Q 值打交道。粗排要输出 Q 值，精排要融合多个 Q 值，线上打分公式里全是 Q 值。但如果你问"这个 Q 值到底代表什么，为什么可以用它来排序"，很多人的回答是"模型输出的分数呗"——这个回答没有错 阅读全文
推荐系统中 Q 值的设计：从训练目标到推理信号 一、为什么要聊这个话题 做推荐系统的人，每天都在和 Q 值打交道。粗排要输出 Q 值，精排要融合多个 Q 值，线上打分公式里全是 Q 值。但如果你问"这个 Q 值到底代表什么，为什么可以用它来排序"，很多人的回答是"模型输出的分数呗"——这个回答没有错 阅读全文
posted @ 2026-03-15 11:06
石头开会
阅读(162)
评论(0)
推荐(1)
浙公网安备 33010602011771号